CC BY
68
ДЛЯ КОРРЕСПОНДЕНЦИИ
Кулакова Елена Николаевна — докторант кафедры госпитальной и поликлинической педиатрии ГБОУ ВПО «Воронежская государственная медицинская академия им. Н.Н. Бурденко» Минздрава России
Адрес: 394005, г. Воронеж, ул. Студенческая, д. 10 Телефон: (910) 738-60-26 E-mail: [email protected]
Е.Н. Кулакова, Т.Л. Настаушева, И.В. Кондратьева
Аудиторная(интерактивная) система
опроса и тестирования:
обзор литературы и опыт использования
E.N. Kulakova, T.L. Nastausheva, I.V. Kondratjeva
Audience response system and classroom testing: review and user experience
Audience response system is an interactive learning tool. It permits students to answer to multiple choice questions using remote control device (clickers). The results are instantly collected, summarized and presented for discussion. The purpose of this article is to present a literature review and own experience. Implementation effectiveness can depend on different factors. These factors are defined, classified and discussed. Audience response system can improve the educational process by encouraging students to take a more active role in their learning.
Keywords
• audience response system
• interactive lecture
• clickers
• testing
• formative assessment
• student-centered approach
ГБОУ ВПО «Воронежская государственная медицинская академия им. Н.Н. Бурденко» Минздрава России
Voronezh State Medical Academy named after N.N. Burdenko
Аудиторная система опроса и тестирования — это средство интерактивного обучения, которое обеспечивает возможность отвечать на тестовые задания с помощью беспроводных пультов (кликеров), осуществлять автоматическую обработку всех полученных ответов и представлять обобщенные результаты всем участникам для обсуждения. В статье представлен обзор литературы и собственный опыт использования. Определены и классифицированы факторы, которые могут влиять на эффективность внедрения системы в учебный процесс. Отмечено, что начало использования аудиторной системы опроса и тестирования может стать пусковым механизмом для более активного внедрения студентоцентрированных технологий.
Ключевые слова
• аудиторная система опроса
• интерактивная лекция
• кликеры
• тестирование
• формативная оценка
• студентоцентрированный подход
Что такое аудиторная система опроса и тестирования?
Аудиторная (интерактивная) система опроса и тестирования (АиСОТ) — это многокомпонентное средство интерактивного обучения, которое обеспечивает опрос или тестирование обучающихся с быстрой
программной обработкой полученных ответов и представлением результатов преподавателю и всем участникам. В зарубежной литературе подобные системы имеют следующие названия: audience response system, distant response system, personal response system, electronic voting system, classroom communication system, clickers.
#
АиСОТ состоит из персональных беспроводных пультов (кликеров), приемника сигнала (ресивера), соединенного через разъем USB с ноутбуком, на котором установлено соответствующее программное обеспечение (рис. 1). Пульт представляет собой устройство с несколькими кнопками, имеющими цифровые обозначения, для передачи сигнала на приемник. Проектор необходим для отображения вопросов и вариантов ответов на экране.
Программное обеспечение позволяет создавать различные тестовые задания, в том числе с множественным выбором, которые демонстрируются всем студентам, присутствующим в аудитории. В зависимости от технологии организации деятельности студентов решение тестового задания осуществляется индивидуально или после обсуждения в парах и малых группах. Для ответа студенту необходимо нажать на кнопку с цифрой, соответствующей номеру выбранного варианта. Статистическая обработка всех полученных ответов осуществляется автоматически с последующим представлением обобщенных результатов в цифровом или графическом виде на экране для обсуждения. В зависимости от цели использования и программных возможностей система может анализировать статистику ответов всей группы или индивидуальную статистику ответов каждого студента.
Основные направления использования АиСОТ
• Как средство интерактивного обучения на лекционных занятиях (кликер-ных лекциях) при работе с большими группами обучающихся (рис. 2). Прием ответов при этом варианте работы системы осуществляется преимущественно в анонимном режиме.
• Как средство текущего (диагностического) оценивания (formative assessment) (рис. 3). В данном случае необходима предварительная регистрация всех участников для обеспечения персонального приема ответов. Аудиторные системы опроса известны с 1960—1970 гг., однако они получили широкое распространение только в последнее десятилетие после появления многочисленных коммерческих моделей [24]. Новым направлением модернизации этого средства обучения является разработка и внедрение систем опроса, базирующихся на веб-технологиях [22, 23, 28].
Цель статьи — не описать преимущества конкретной продукции, а представить особенности реализации интерактивной технологии обучения, основанной на использовании АиСОТ.
Основные результаты внедрения аудиторных систем опроса и тестирования в высшем образовании
В различных странах мира проведены многочисленные исследования для оценки влияния АиСОТ на процесс обучения. В большинстве исследований анализировалось отношение студентов и преподавателей к использованию аудиторных систем опроса на лекциях. Значительно реже изучались особенности персонифицированного применения АиСОТ на практических занятиях и влияние на успеваемость студентов. В наиболее известных литературных обзорах, опубликованных в 2006—2009 и 2014 гг. [6, 13, 16, 21, 23, 24], обобщены результаты более 200 подобных исследований, опубликованных в рецензируемых журналах. Однако до настоящего времени остается много открытых вопросов, тре-
Рис. 1. Основные компоненты аудиторной (интерактивной) системы опроса и тестирования: 1 - компьютер/ноутбук с программным обеспечением, 2 - приемник (ресивер) радиосигнала от пультов, 3 - беспроводные кнопочные пульты (кликеры), 4 - экран для отображения тестового задания и итоговой статистики полученных ответов, 5 -проектор
tl. ЦЕЛЬ - \ :нова для разработки вопросов )
6. ЗАВЕРШЕНИЕ: анализ и коррекция вопросов
5. ДИСКУССИЯ в соответствии с представленными результатами
2. ВОПРОС и варианты ответов на экране
3. ОТВЕТЫ студентов нажатием соответствующей кнопки пульта, их прием и обработка ^
Рис. 2. Алгоритм применения аудиторной (интерактивной) системы опроса и тестирования на интерактивной кликерной лекции
1. ЦЕЛЬ - ^ основа для разработки вопросов
6. ЗАВЕРШЕНИЕ: анализ и коррекция вопросов
2. ВОПРОС и варианты ответов на экране
5. ДИСКУССИЯ: обсуждение неправильных ответов
3. ОТВЕТЫ студентов нажатием соответствующей кнопки пульта, их прием и обработка
4. РЕЗУЛЬТАТ: отображение на экране в виде процента правильных ответов ^ каждого студента ^
Рис. 3. Алгоритм применения аудиторной (интерактивной) системы опроса и тестирования для текущего (диагностического) тестирования
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
#
бующих дополнительных исследований высокого качества [8, 10, 16, 21].
По данным обзорных публикаций установлены следующие основные преимущества применения АиСОТ на лекционных занятиях (кликерных лекциях):
• повышение вовлеченности студентов в процесс обучения, повышение их мотивации и интереса к предмету изучения [8, 13, 16, 21, 23, 24];
• поддержание внимания в течение всей лекции, учитывая необходимость ответов на вопросы (обычно каждые 20 минут) [8, 16, 21];
• обеспечение эффективного взаимодействия студентов друг с другом во время лекции, возможность оптимизации технологии обучения в парах и малых группах [8, 13, 21, 23, 24];
• улучшение понимания материала [8, 13, 16, 24], обеспечение более высокого уровня и глубины знаний [21, 23];
• быстрое получение обратной связи, что помогает мониторировать понимание материала студентами, вносить текущие изменения в план лекции и организовывать эффективные дискуссии [8, 13, 16, 21, 23];
• обеспечение анонимности ответов, что, по мнению студентов, важно для их активного участия в работе больших групп на лекциях [8, 13, 21]. Это помогает не бояться делать ошибки, обеспечивает безопасное сравнение своего уровня знаний со знаниями других участников группы [8, 10, 13, 24], предотвращает копирование ответов большинства [21]. Есть мнение, что несмотря на анонимность ответов для участников опроса на лекции важны учет и анализ индивидуальных ответов преподавателем после лекции [8, 14, 16, 23].
Однако в исследованиях, целью которых было установить влияние АиСОТ на успеваемость и достижение планируемых результатов обучения, получены противоречивые заключения [16, 23, 24]. В отдельных исследованиях выявлен положительный эффект [8, 20], в других — его отсутствие [6, 14, 16, 25]. Важно отметить, что статистически значимых отличий в результатах итогового теста не выявлялось, если в контрольной группе также применялись активные методы обучения, например, лекции в виде дискуссии [14, 25].
Опубликован и опыт использования систем на практических занятиях для интерактивного текущего диагностического тестирования (formative assessment) [8-10, 20, 21, 23, 24, 29]. Студенты положительно относились к данной системе как к средству формирующего оценивания [10, 29] даже при частом применении [8]. Регулярные интерактивные диагностические тестирования повышали балл итогового зачета или экзамена [24]. Однако и студенты, и преподаватели отметили негативное отношение к АиСОТ как к средству не текущего, а итогового контроля [21, 23]. Обращали внимание на сложность концентрации внимания при волнении, что приводило к непониманию вопроса, представленного на экране, и трудностям выбора правильного ответа в установленные сроки [10]. Кроме того, при итоговом тестировании необходимо учитывать возможность копирования ответов рядом сидящих студентов [16].
Кроме преимуществ АиСОТ в обзорных публикациях также отмечены некоторые недостатки. Чаще всего обращали внимание на технические и организационные проблемы [21], которые приводили к нерациональному использованию учебного времени. [24]. Например, техни-
ческая неисправность системы или обеспечение больших групп студентов кли-керами. Часть организационных проблем может быть решена путем внедрения систем интерактивного опроса, основанных на веб-технологиях [22, 23, 28], при которых в качестве пульта применяется любое мобильное устройство студента с доступом в интернет. Однако использование подобных систем также имеет свои ограничения. Кроме того, немаловажные проблемы на этапе внедрения АиСОТ — это обязательное обучение преподавателей техническим навыкам работы с системой [5] и необходимость изменения традиционного обучения, ориентированного на преподавателя, в сторону внедрения студентоцен-трированных технологий, что часто является сложной задачей [21].
Несмотря на выявленные трудности в большинстве исследований продемонстрировано положительное отношение и студентов, и преподавателей к применению АиСОТ в учебном процессе [8, 10, 24].
Особенности использования аудиторных систем опроса и тестирования в медицинском образовании
Результаты внедрения АиСОТ в медицинском образовании не отличались от результатов, полученных в образовательных организациях другого направления. Именно поэтому они не исключались из обобщающих литературных обзоров [8, 13, 16, 21, 23, 24].
Опубликован опыт использования АиСОТ при преподавании следующих дисциплин: биология, анатомия, биохимия, физиология, микробиология, фармакология, психология, сестринское дело, стоматология, гигиена, онкология, нейро-
физиология, радиология, хирургия, генетика, эпидемиология, семейная медицина и другие, а также в симуляционных курсах и различных программах медицинского образования для резидентов (интернов, ординаторов) и врачей на последипломном этапе [17-19, 23, 26, 30, 32].
Кроме универсальных преимуществ АиСОТ, представленных в предыдущем разделе, анализ результатов исследований в медицинском образовании позволил выявить дополнительные положительные факторы. Применение АиСОТ улучшало запоминание материала [17, 19, 26, 35], позволяло выделить главное в информации, представленной на лекции [19, 35], стимулировало внедрение активных студентоцентрированных методов обучения [12, 27], обеспечивало комфортность опросов [18, 26, 35], что особенно важно, по мнению слушателей, на последипломном этапе в программах непрерывного медицинского образования даже в малых группах [26].
При анализе влияния АиСОТ на успеваемость студентов медицинских специальностей получены неоднозначные выводы [17, 19, 32, 35]. В связи с этим в 2012 г. опубликован систематический обзор о влиянии АиСОТ на результаты обучения в медицинском образовании, в котором обобщены все публикации, соответствующие требованиям исследований, основанных на доказательствах [30]. Из 1013 публикаций в соответствии с критериями включения было отобрано всего 21 исследование, причем в 14 из них продемонстрирован положительный эффект, а в 7 — его отсутствие [30]. 20 проанализированных исследований оценивали эффективность АиСОТ на лекциях и только 1 — на практических занятиях. Обращали внимание на то, что использование
#
АиСОТ дает возможность трансформировать обучение в сторону внедрения более активных методов. Если же в программах уже реализованы активные и интерактивные методики, влияние АиСОТ на успеваемость студентов будет минимальным [30, 32].
Отчего зависит эффективность
использования аудиторных систем опроса и тестирования?
Что такое эффективность? Это относительный показатель, который определяется как отношение величины полученного результата к затратам и расходам, которые обеспечили его получение [1]. Следовательно, внедрение средства обучения может считаться эффективным, если его применение обеспечивает достижение заявленной цели при рациональном расходе ресурсов. Если поставлена цель только повысить активность студентов на лекциях, добавив игровой компонент, без учета влияния системы на результат обучения, достижение этой цели с помощью АиСОТ высоковероятно, но нет экономической целесообразности затраченных ресурсов. Если стоит цель повлиять на успеваемость студентов, оптимизировать их учебную деятельность, повысить качество обучения, необходимо учесть множество факторов [16], различные комбинации которых могут как повысить, так и понизить вероятность достижения поставленного результата.
Перечислим немодифицируемые факторы, которые в большинстве случаев невозможно скорректировать на этапе внедрения системы, но необходимо учитывать при анализе причин ее неэффективного использования:
базовые характеристики студентов (пол [23], возраст, уровень знаний [15—17], стиль восприятия информации, отношение к дисциплине и преподавателю, коммуникативные навыки и т.д.); базовые характеристики преподавателя (пол, возраст, стиль обучения, уровень знаний по преподаваемой дисциплине, педагогические способности, в том числе опыт внедрения активных технологий обучения, коммуникативные навыки и т.д.);
технологии, методы и средства обучения, которые применялись до внедрения АиСОТ [30, 32]; численность студентов в одной аудитории [16, 23];
особенности дисциплины и образовательной организации [16]. Модифицируемые факторы, которые необходимо оптимизировать до начала использования системы: отношение студентов к внедрению АиСОТ [16, 24]. Целесообразно продумать презентацию преимуществ АиСОТ для студентов [5]; отношение преподавателей к внедрению АиСОТ, их интерес и уверенность в эффективности системы, наличие мотивации к регулярному использованию АиСОТ в учебном процессе. Целесообразно продемонстрировать опыт эффективного применения систем опроса, организовать мотивирующие мастер-классы для непосредственных исполнителей; технические навыки работы с АиСОТ у преподавателей [16, 34]. Необходимо провести тренинги [20] для отработки навыка работы с конкретной коммерческой моделью и организовать техническую поддержку [5, 20]. Желательно присутствовать на занятиях у препода-
вателей, которые регулярно используют АиСОТ в своей практике [5, 8];
• качество вопросов, составленных для опросов и тестирований [8, 9, 16-18, 34, 35]. Важно учитывать, что вопросы для кликерной лекции значительно отличаются от тестовых заданий для итоговой аттестации [8]. Кроме того, есть принципиальные отличия между кли-керными вопросами для стимуляции дискуссии и для текущего (диагностического) тестирования. Опубликованы многочисленные рекомендации по составлению вопросов для аудиторных интерактивных опросов и тестирований [8, 7];
• педагогическая технология, в которую интегрирована АиСОТ, или технология, которая разработана для применения системы. Наиболее сложная и важная задача, которая не имеет универсального решения [16]. В большинстве случаев реализуются разнообразные авторские методики [7, 13, 34], дизайн которых целесообразно продумать сво-евременно[10].
Общепризнано, что технология, в которую легко интегрировать АиСОТ, — это обучение в парах (Peer Instruction) [8, 13, 16, 21, 23, 24]. Его особенность заключается в том, что после отображения вопроса на экране студентам предоставляется время для обсуждения задания в парах, и только после принятия совместного решения отправляется ответ [7]. Есть описания эффективного использования АиСОТ при организации дискуссий в малых группах [23], в технологии командного обучения [31] и др. Есть мнение, что каждый преподаватель сам определяет, как работать с данной системой в зависимости от целей обучения и содержания дисциплины. Желательно не допускать
монотонного однообразия, а чередовать различные технологии, чтобы не снизить первичного положительного отношения студентов к системе [11]. Однако применение АиСОТ не должно отвлекать от достижения планируемых результатов, важно поддерживать интерес не к самому факту использования кликеров, к которому студенты часто относятся как к игре, а к представляемому учебному материалу, изучение которого может быть оптимизировано благодаря АиСОТ [34].
Изучение перспектив применения аудиторных систем опроса и тестирования в российском высшем образовании
В соответствии с информацией, представленной на сайтах компаний-производителей, значительное количество образовательных учреждений в России используют АиСОТ в учебном процессе. Однако опубликовано ограниченное количество статей с анализом опыта применения или результатами сравнительных исследований. В Уральском государственном педагогическом университете (г. Екатеринбург) совместно с Ариэльским университетским центром Самарии (Израиль, г. Ариэль) при финансовой поддержке Российского гуманитарного научного фонда выполнена научно-исследовательская работа по изучению перспектив внедрения АиСОТ в образовательный процесс двух стран [2]. Одной из задач исследования было изучение отношения студентов России и Израиля к применению аудиторных систем опроса на лекциях.
Преподаватели и студенты обеих стран характеризовали атмосферу в аудитории на кликерных лекциях как творческую и увлекательную. Подавляющее большинство
#
студентов отметили важность оперативной обратной связи на лекционных занятиях. По мнению участников опросов, интерактивные лекции предъявляют более высокие требования к научному и предметному кругозору преподавателя и его педагогическим способностям, чем традиционные лекционные занятия с линейным изложением учебного материала. Отмечено, что до решения всех технических и организационных проблем существуют реальные ограничения для постоянного использования АиСОТ на лекциях в учреждениях высшего образования [2].
Анализ опыта применения аудиторной системы опроса и тестирования в ВГМА им. Н.Н. Бурденко
Первичный опыт использования АиСОТ в учебном процессе кафедры госпитальной и поликлинической педиатрии ВГМА им. Н.Н. Бурденко опубликован в тезисах конференции «Медицинское образование—2014» [4]. Основное направление работы с системой — это интерактивное текущее диагностическое оценивание знаний студентов на практических клинических занятиях, цель которого не поставить оценку, а определить уровень знания, понимания и способности к применению изученного материала с коррекцией выявленных ошибок сразу после теста.
С учетом анализа 2-летнего периода использования АиСОТ определены следующие основные преимущества системы по сравнению со всеми другими видами диагностического тестирования: • положительное отношение студентов к данному виду оценивания, что позволяет применять его достаточно часто;
• получение результатов сразу после тестирования в виде процента правильных ответов каждого студента на экране, что ценно для преподавателя, так как исключает затраты времени на проверку теста, и важно для студентов, так как вносит элемент соревновательности, мотивирует к подготовке и позволяет своевременно получить объяснения на те вопросы, которые вызвали затруднения;
• при регулярном использовании, в том числе для повторения, помогает студентам эффективно запоминать ключевую информацию, которая является обязательным фундаментом для формирования знаний высокого уровня и способности к клиническому мышлению, а также теоретической основой для овладения практическими умениями и навыками;
• есть возможность быстрой коррекции тестовых заданий для текущего улучшения качества тестирования;
• можно проводить в любом помещении, в том числе не оборудованном компьютерной техникой и без стабильного доступа в интернет.
Дальнейшее совершенствование использования АиСОТ способствовало ее интеграции в технологию «перевернутый класс» (flipped classroom). Данный вариант организации учебной деятельности студентов не нов для высшего медицинского образования [33]. Однако дополнение этой технологии онлайн-курсами для внеаудиторной самостоятельной работы [3] и применение интерактивного диагностического тестирования для проверки готовности к занятию значительно повышают ее эффективность и высвобождают время для отработки практических умений и навыков с использованием симуляционных методик и обучения у постели больного.
Заключение
Несмотря на представленные преимущества внедрения систем опроса и тестирования в учебный процесс, важно отметить, что АиСОТ — это только средство, которое может повышать эффективность деятельности студентов, если оно внедрено в соответствующую методику обучения с целью достижения конкретных планируемых результатов. Простое нажатие на кнопки кликера при ответах на несистематизированные вопросы не обеспечит эффективного вовлечения студентов в процесс обучения, не сделает лекцию интерактивной и не повысит качество образования. Есть мнение, что изменение технологии обучения в процессе реализации проекта по внедрению АиСОТ меняет результат обучения в большей степени, нежели само наличие кликеров в руках у студентов [8, 9, 13, 18, 23, 25].
Учитывая анализ изученной литературы и опыт использования, можно заключить, что применение АиСОТ является фактором, стимулирующим изменения программ обучения в сторону внедрения студенто-центрированных технологий, в которых учитывается эффективность учебной деятельности и где студенты становятся более активными участниками образовательного процесса.
Благодарности
Выражаем благодарность проректору по учебной работе ГБОУ ВПО «ВГМА им. Н.Н. Бурденко» Минздрава России, профессору Болотских Владимиру Ивановичу за поддержку на этапе внедрения интерактивной системы опроса и тестирования в учебный процесс кафедры госпитальной и поликлинической педиатрии.
Сведения об авторах
ГБОУ ВПО «Воронежская государственная медицинская академия им. Н.Н. Бурденко» Минздрава России:
Кулакова Елена Николаевна — кандидат медицинских наук, докторант кафедры госпитальной и поликлинической педиатрии, член РОСОМЕД, член АМЕЕ. Настаушева Татьяна Леонидовна — профессор, декан педиатрического факультета, заведующая кафедрой госпитальной и поликлинической педиатрии.
Кондратьева Инна Владиславовна — доцент кафедры госпитальной и поликлинической педиатрии.
Литература
1. Балкизов З.З., Семенова Т.В. Глоссарий терминов в области медицинского образования // Медицинское образование и профессиональное развитие. — 2013. — № 2—3. — С. 16—46.
2. Егоров А.Н., Давидович Н, Явич Р.П. Особенности использования аудиторной системы обратной связи на лекциях в России и Израиле // Педагогическое образование в России. - 2012. - № 2. - С. 1-5.
3. Кулакова Е.Н., Настаушева Т.Л., Волосовец Г.Г. Онлайн-курс в высшем медицинском образовании: электронное обучение или внеаудиторная самостоятельная работа? // Медицинское образование и профессиональное развитие. - 2014. - № 3. - С. 87-89.
4. Кулакова Е.Н., Настаушева Т.Л., Кондратьева И.В., Усачева Е.А. Опыт использования интерактивной системы тестирования и опроса в образовательном процессе медицинского вуза // Медицинское образование - 2014: Сборник тезисов. - М., 2014. -С. 246-249.
5. Beatty I. Transforming student learning with classroom communication systems // Educause Center for Applied Research. Research Bulletin. - 2004. - Vol. 3. - P. 1-13.
6. Bojinova E.D., Oigara J.N. Teaching and learning with clickers: are clickers good for students? // Interdisciplinary Journal of E-Learning and Learning Objects. - 2011. - Vol. 7. - P. 169-184.
7. Bruff D. Teaching with Classroom Response Systems: Creating Active Learning Environments. -San Francisco: Jossey-Bass, A Wiley Imprint, 2009.
8. Caldwell J.E. Clickers in the large classroom: current research and best-practice tips // CBE -Life Sciences Education. - 2007. - Vol. 6, N 1. - P. 9-20.
9. Chan C.K.Y., Tam V.W.L., Li C.Y.V. A comparison of MCQ assessment delivery methods for student engagement and interaction used as an in-class formative assessment // International Journal of Electrical Engineering Education. - 2011. - Vol. 48, N 3. - P. 323-337.
10. Chen T., Lan Y. Using a personal response system as an in-class assessment tool in the teaching of basic college chemistry // Australasian Journal of Educational Technology. - 2013. - Vol. 29, N 1. - P. 32-40.
11. Crews T.B., Ducate L, Rathel J.M. et al. Clickers in the classroom: transforming students into active learners // Educause Center for Applied Research. Research Bulletin. - 2011. -Vol. 9. - P. 1-12.
12. DeBourgh G.A. Use of classroom «clickers» to promote acquisition of advanced reasoning skills // Nurse Education in Practice. - 2008. - Vol. 8. - P. 76-87.
13. Fies C., Marshall J. Classroom Response Systems: A Review of the Literature // Journal of Science Education and Technology. - 2006. - Vol. 15, N 1. - P. 101-109.
14. Fies C.H. Classroom response systems: what do they add to an active learning environment? (Dissertation for the degree of Doctor of Philosophy). - Austin: The University of Texas at Austin, 2005.
15. Gauci S.A., Dantas A.M., Williams D.A., Kemm R.E. Promoting student-centered active learning in lectures with a personal response system // Adv. Physiol. Educ. - 2009. -Vol. 33. - P. 60-71.
16. Han J.H. Closing the missing links and opening the relationships among the factors: a literature review on the use of clicker technology using the 3P model // Education Technology and Society. - 2014. - Vol.17, N 4. - P. 150-168.
17. Hessheimer H.M., Rogo E.J., Howlett B. Use of Questioning during lectures in a dental hygiene didactic course // J. Dent. Educ. - 2011. - Vol. 75, N 8. - P. 1073-1083.
18. Jensen J.V. Ostergaard D, Faxholt A.H. Good experiences with an audience response system used in medical education // Dan. Med. Bull. - 2011. - Vol. 58, N 11. - P. 1-6.
19. Johnson K., Lillis C. Clickers in the laboratory: student thoughts and views // Interdisciplinary Journal of Information, Knowledge, and Management. — 2010. — Vol. 5. — P. 139—151.
20. Kaleta R., Joosten T. Student response systems: a university of Wisconsin system study of clickers // Educause Center for Applied Research. Research Bulletin. — 2007. — Vol. 10. — P. 1-12.
21. Kay R.H., LeSage A. Examining the benefits and challenges of using audience response systems: a review of literature // Comput. Educ. - 2009. - Vol. 53, N 3. - P. 819-827.
22. Kuhbeck F., Engelhardt S., Sarikas A. OnlineTED.com - a novel web-based audience response system for higher education. A pilot study to evaluate user acceptance // GMS Z. Med. Ausbild. - 2014. - Vol. 31, N 1. - Doc. 5.
23. Lopez, J.A., Love C., Watters D. Clickers in biosciences: do they improve academic performance? // International Journal of Innovation in Science and Mathematics Education. - 2014. -Vol. 22, N 3. - P. 26-41.
24. MacArthur J.R., Jones L.L. A review of literature reports of clickers applicable to college chemistry classrooms // Chem. Educ. Res. Pract. - 2008. - Vol. 9, N 3. - P. 187-195.
25. Martyn M. Clickers in the classroom: An active learning approach // Educause Q. - 2007. -Vol. 30, N 2. - P. 71-74.
26. McRae, M. E., Elgie-Watson, J. Using audience response technology in hospital education programs // The Journal of Continuing Education in Nursing. - 2010. - Vol. 41, N 7. -P. 323-328.
27. Meedzan N. Fisher K.L. Clickers in Nursing education: an active learning tool in the classroom // Online Journal of Nursing Informatics. - 2009. - Vol. 13, N 2. - P. 1-19.
28. Mork C.M. Benefits of using online student response systems in Japanese EFL classrooms //
0 The JALT CALL Journal. - 2014. - Vol. 10, N 2. - P. 127-137. ^
29. Mostyn A., Meade O., Lymn J.S. Using audience response technology to provide formative feedback on pharmacology performance for non-medical prescribing students - a preliminary evaluation // BMC Med. Educ. - 2012. - Vol. 12(113).
30. Nelson C., Hartling L., Campbell S., Oswald A.E. The effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: BEME Guide No. 21 // Med. Teach. - 2012. - Vol. 34 - P. e386-e405.
31. Pileggi R., O'Neill P.N. Team-based learning using an audience response system: an innovative method of teaching diagnosis to undergraduate dental students // J. Dent. Educ. - 2008. -Vol. 72, N 10. - P. 1182-1188.
32. Schackow T.E., Chavez, M., Loya L., Friedman M. Audience response system: effect on learning in family medicine residents // Fam. Med. - 2004. - Vol. 36, N 7. - P. 496-504.
33. Sharma N., Lau C.S., Doherty I., Harbutt D. How we flipped the medical classroom // Med. Teach. - 2014. - Early Online. - P. 1-4.
34. Thampy H., Ahmad Z. How to: Use audience response systems // Educ. Prim. Care. - 2014. -Vol. 25. - P. 294-296.
35. Tregonning A.M., Doherty D.A., Hornbuckle J., Dickinson J. The audience response system and knowledge gain: a prospective study // Med. Teach. - 2012. - Vol. 34. - P. e269-e274.
