CC BY
23УДК 378.2 ББК 74.484.78
DOI 10.24075/МТСРЕ.2020.003
ПРИНЦИПЫ АВТОМАТИЗАЦИИ АНАЛИЗА УДОВЛЕТВОРЕННОСТИ СПЕЦИАЛИСТОВ ЗДРАВООХРАНЕНИЯ ОБУЧЕНИЕМ ПО ДОПОЛНИТЕЛЬНЫМ ПРОФЕССИОНАЛЬНЫМ ПРОГРАММАМ ПОВЫШЕНИЯ КВАЛИФИКАЦИИ
Фомина М.А.,1 Природова О.Ф.1 Бразовская Н.Г.2
1 Федеральное государственное автономное учреждение высшего образования «Российский национальный исследовательский медицинский университет имени Н.И. Пирогова» Министерства здравоохранения Российской Федерации, Москва
2 Федеральное государственное бюджетное образовательное учреждение высшего образования «<Сибирский государственный медицинский университет» Министерства здравоохранения Российской Федерации, Томск
Для корреспонденции: Фомина Мария Алексеевна, [email protected]
Аннотация
Систематическое проведение образовательной организацией оценки удовлетворенности специалистов здравоохранения обучением по реализуемым организацией дополнительным профессиональным программам повышения квалификации (далее - ДПП ПК) является важнейшим фактором оценки качества их реализации как части внутреннего мониторинга качества образования и способом повышения качества образовательного контента и организации образовательного процесса в целом. Использование технических средств Портала непрерывного медицинского и фармацевтического образования Минздрава России edu.rosminzdrav.ru через функционал Личного кабинета образовательной организации предоставляет целый ряд дополнительных возможностей, в частности, способствует получению организацией информации об удовлетворенности специалистов здравоохранения обучением по ДПП ПК и дает возможность автоматизации её анализа. При этом адекватная оценка качества образования через анализ удовлетворенности потребителей возможна только при условии наличия значительного количества ответов обратной связи, что создает необходимость мотивирования обучающихся к подобной активности. Охарактеризованы параметры автоматизированного анализа удовлетворенности обучающихся по ДПП ПК: бинарная оценка, балльная оценка, анкетирование, комментарии. Сформулированы и описаны основные принципы автоматизированного анализа удовлетворенности специалистов здравоохранения обучением по ДПП ПК: регулярность, кумулятивность, системность, интегративность, продуктивность и репрезентативность.
Ключевые слова: повышение квалификации, непрерывное образование, специалисты здравоохранения, анализ удовлетворенности
Стремительное развитие современного здравоохранения, постоянное совершенствование диагностических и лечебных технологий, появление новых подходов к профилактике, скринингу, мониторингу заболеваний формируют настоятельную необходимость постоянного повышения профессионального уровня специалистов здравоохранения. Освоение образовательных программ в организациях, осуществляющих образовательную деятельность, является неотъемлемой частью непрерывного медицинского и фармацевтического образования1, тесно связанного с допуском к медицинской деятельности [1]. В этой связи возрастает как роль образовательных организаций, реализующих дополнительные профессиональные программы повышения квалификации (далее - ДПП ПК), так и их ответственность за качество предоставляемого образовательного контента.
Поскольку дополнительное профессиональное образование в целом должно быть направлено на удовлетворение образовательных и профессиональных потребностей, профессиональное развитие человека, обеспечение соответствия его квалификации меняющимся условиям профессиональной деятельности и социальной среды2, анализ удовлетворенности обучающихся следует считать важнейшим фактором оценки качества реализации ДПП ПК как части внутреннего мониторинга качества образования3. При условии объективного и систематического проведения, подобную оценку следует рассматривать как способ повышения качества образовательного контента и организации образовательного процесса в целом (рис. 1).
Рис. 1. | Роль анализа удовлетворенности обучающихся в повышении качества дополнительного профессионального образования
В настоящее время начинают накапливаться отечественные исследования, касающиеся изучения удовлетворенности дополнительным профессиональным образованием с целью повышения его качества [2-4], однако лишь единичные освещают данную проблему в части обучения специалистов здравоохранения [5]. При этом, практически единственным инструментом исследований во всех случаях является анкетирование слушателей по завершении обучения. Данный метод, несомненно, сохраняет свою актуальность, поскольку дает возможность образовательной организации использовать собственный набор вопросов и шкал оценки, наиболее отвечающий задачам исследования. Предлагаемые авторами анкеты содержат не только варианты выбора из текстовых ответов [2, 3], но и, в ряде случаев, предоставляют возможность оценить степень удовлетворенности по каждому изучаемому показателю в баллах [4,5], либо интегративную степень удовлетворенности в процентах [6]. Использование балльной оценки следует считать более прогрессивным вариантом, поскольку результаты могут использоваться не только для качественного, но и для количественного анализа. Однако, следует отметить и недостатки подобного подхода, такие как сложность соблюдения анонимности и практическую невозможность автоматизации обработки значительного количества полученной информации.
1 Приказ Министерства здравоохранения Российской Федерации от 21 ноября 2017 г. №926н «Обутверждении Концепции развития непрерывного медицинского и фармацевтического образования в Российской Федерации на период до 2021 года»
2 Федеральный закон от 29 декабря 2012 г. №273-Ф3 «Об образовании в Российской Федерации» (в ред. от 01.05.2019)»
3 Приказ Министерства образования и науки Российской Федерации от 01 июля 2013 г. №449н «Об утверждении Порядка организации и осуществления образовательной деятельности по дополнительным профессиональным программам».
Значительный прогресс в формировании системы эффективного анализа удовлетворенности слушателей образовательным процессом как части внутренней оценки качества обучения по ДПП ПК может быть достигнут при использовании образовательной организацией технических средств автоматизированных систем планирования и учета образовательной активности обучающихся. В дополнительном профессиональном образовании специалистов здравоохранения такой системой является интернет-портал непрерывного медицинского и фармацевтического образования Минздрава России edu.rosminzdrav.ru (далее - Портал). Портал с 2016 года является инструментом управления образовательной активностью специалистов здравоохранения и автоматизированного учета её результатов [7]. Кроме того, данный ресурс активно используется организациями, имеющими лицензию на осуществление образовательной деятельности, для продвижения своих образовательных продуктов, формирования контингента обучения и внесения результатов обучения для дальнейшего учета в Портфолио специалиста. С момента начала эксплуатации наблюдается неуклонный рост показателей активности пользователей Портала (табл. 1). Реализованная в 2019 году модернизация Портала расширила возможности использования его функционала как для специалистов здравоохранения, так и для образовательных организаций.
Табл. 1 | Показатели активности пользователей Портала в части реализации ДПП ПК (нарастающим итогом)
Показатель 2016-2017 гг. 2018 г. 2019 г.
Количество зарегистрированных специалистов здравоохранения 311 743 500 958 991 225
Количество зарегистрированных организаций, реализующих ДПП ПК 407 532 796
Количество ДПП ПК, включенных в перечень Портала 15 850 20 617 26 929
Количество циклов обучения по ДПП ПК (по дате завершения) 36 613 105 425 351 548
Количество специалистов, прошедших обучение по ДПП ПК1 69 178 99 923 164 294
Примечание: - учитывается количество физических лиц, для которых не менее 1 раза были внесены результаты обучения по ДПП ПК
Деятельность организаций, имеющих лицензию на осуществление образовательной деятельности, на Портале реализуется через функционал «Личный кабинет образовательной организации». Данный функционал для организаций традиционно включает в себя:
1. Направление информации о разработанной в организации ДПП ПК для рассмотрения возможности включения её в Перечень ДПП ПК Портала.
2. После положительного решения о включении ДПП ПК в Перечень ДПП ПК Портала - размещение информации о циклах по ДПП ПК и (при наличии) дополнительной информации об особенностях их проведения.
3. Работу с заявками специалистов здравоохранения для дальнейшего их зачисления на обучение на определенном цикле по ДПП ПК.
4. Внесение результатов успешного освоения ДПП ПК для их автоматизированного учета в Порт-фолио специалиста.
При этом использование технических средств Портала через функционал Личного кабинета предоставляет целый ряд дополнительных возможностей, в частности, способствует получению организацией информации об удовлетворенности специалистов здравоохранения обучением по ДПП ПК и дает возможность автоматизации её анализа.
Получение информации об удовлетворенности потребителей образовательных услуг реализуется через систему обратной связи: по завершении обучения специалист здравоохранения через функционал «Личный кабинет специалиста» имеет возможность не только пройти анонимное анкетирование, но и деперсонифицированно оценить освоенную ДПП ПК, а также оставить о ней комментарий.
В этом случае образовательная организация получает возможность автоматизировано анализировать удовлетворенность обучающихся с использованием ряда параметров (табл. 2).
Табл. 2 | Параметры автоматизированного анализа удовлетворенности специалистов здравоохранения
обучением по ДПП ПК
Способ оценки Параметр Объект анализа
Непосредственная оценка удовлетворенности
Бинарная оценка «Лайки»/«Дизлайки» Количество положительных и отрицательных оценок ДПП ПК в целом
Балльная оценка Шкала рейтинга 1-10 Значение рейтинга в числовом выражении
Анкетирование Результаты выбора ответов на унифицированные вопросы Количество определенных ответов, характеризующих качество реализации ДПП ПК
Комментарий Текст комментария, содержащий мнение специалиста об освоенной ДПП ПК Мнения обучающихся о содержании ДПП ПК и качестве образовательного процесса
Кроме того, в качестве косвенных показателей удовлетворенности обучающихся и/или эффективности коррекции по результатам первичной оценки удовлетворенности образовательная организация может использовать количественные показатели спроса на данный вид образовательных услуг: рост числа поданных заявок на обучение, рост числа обучающихся, а также расширение аудитории: увеличение числа организаций и/или регионов, специалисты которых формируют заявки и зачисляются на обучение. Анализ описанных параметров доступен в разделах «Отзывы» и «Отчеты» Личного кабинета образовательной организации. В разделе «Отзывы» на вкладке «Циклы ПК: оценки и отзывы» с использованием системы фильтров можно получить информацию об оценках, выставляемых пользователями, и результатах их анкетирования для конкретного цикла обучения по каждой реализуемой ДПП ПК. В разделе «Отчеты» доступно автоматическое формирование сводных и детализированных по программам и специальностям отчетов об оценках и отзывах на реализуемые ДПП ПК.
Следует особо подчеркнуть, что адекватная оценка качества образования через анализ удовлетворенности потребителей возможна только при условии наличия значительного количества ответов обратной связи. На данный момент, несмотря на общее повышение количества оценок и отзывов специалистов здравоохранения в части удовлетворенности обучением по ДПП ПК, доля активных участников обратной связи всё ещё не может считаться достаточной (табл. 3).
Табл. 3 | Анализ активности обратной связи специалистов здравоохранения на Портале в части обучения по ДПП ПК
(нарастающим итогом)
Показатель 2016-2017 гг. 2018 г. 2019 г.
Количество завершенных случаев обучения 86 542 164 971 314 815
Количество оценок 13 194 22 786 26 550
Доля оценок от количества завершенных случаев обучения 15% 14% 8%
Количество отзывов 4 272 8 150 9 933
Доля отзывов от количества случаев обучения 5% 5% 3%
Количество ДПП ПК, имеющих оценки и отзывы 3 650 5 674 6 207
Доля от общего количества ДПП ПК Перечня Портала 10% 28% 23%
В этой связи необходимой представляется мотивация обучающихся со стороны образовательной организации на совместные усилия по созданию качественного и востребованного контента.
Все вышеизложенное позволяет сформулировать основные принципы автоматизированного анализа удовлетворенности специалистов здравоохранения обучением по ДПП ПК (табл. 4):
Табл. 4 | Принципы автоматизированного анализа удовлетворенности специалистов здравоохранения
обучением по ДПП ПК
Принцип Описание
Регулярность Автоматизированный анализ оценок и отзывов проводится по завершении каждого цикла по ДПП ПК
Кумулятивность Периодический автоматизированный анализ сводных отчетов оценок и отзывов для определенной ДПП ПК или ДПП ПК по определенной специальности с изучением накопительного рейтинга в баллах, количества «лайков»/«дизлайков», а также временной динамики показателей
Системность Периодический автоматизированный анализ сводных отчетов оценок и отзывов по ДПП ПК образовательной организации в целом с изучением временной динамики с целью выявления возможных системных проблем организации образовательного процесса и их коррекции
Интегративность Проведение комплексной оценки удовлетворенности специалистов здравоохранения обучением по ДПП ПК с использованием нескольких параметров увеличивает ценность полученной информации
Продуктивность Полученные результаты анализа должны использоваться для кор-рекционных мероприятий по повышению качества дополнительного профессионального образования
Репрезентативность Активное вовлечение специалистов здравоохранения в оценку качества образования
Выводы
1. Анализ удовлетворенности обучающихся является важнейшим способом повышения качества образовательного контента и организации образовательного процесса в целом.
2. Технические средства Личного кабинета образовательной организации интернет-портала непрерывного медицинского и фармацевтического образования Минздрава России дают возможность автоматизировано проводить анализ удовлетворенности специалистов здравоохранения обучением по ДПП ПК.
3. Основными принципами автоматизированного анализа удовлетворенности специалистов здравоохранения обучением по ДПП ПК являются регулярность, кумулятивность, системность, интегративность, продуктивность и репрезентативность.
4. Важнейшим фактором обеспечения адекватного автоматизированного анализа удовлетворенности является мотивация обучающихся к обратной связи.
Список литерауры
1. Балкизов З.З., Природова О.Ф., Семенова Т.В., Сизова Ж.М. Переход на новую систему допуска к медицинской деятельности: аккредитация и непрерывное медицинское образование //Медицинское образование и профессиональное развитие. - 2016. - № 4 (26). - С. 12-18.
2. Романова Е.А. Маркетинговое исследование удовлетворенности качеством образовательных услуг дополнительного профессионального образования //Вестник современных исследований. - 2019. - № 1-15 (28). - С. 145-152.
3. Дворцов В.Б., Диденко А.В. Особенности осуществления мониторинга субъективной удовлетворенности результатами образовательного процесса в системе дополнительного профессионального образования взрослых //Теория и практика научных исследований: психология, педагогика, экономика и управление. - 2019. - № 1 (5). - С. 9-18.
4. Данильченко С.Л. Модель региональной системы обратной связи по выявлению удовлетворенности педагогического сообщества Крыма и Севастополя качеством образовательных услуг в сфере дополнительного образования //Развитие современного образования: теория, методика и практика. - 2015. - № 4 (6). - С. 102-120.
5. Ризаханова О.А., Лаптева Е.С., Мельникова Е.А. Анализ удовлетворенности организацией и содержанием учебного процесса с учетом профессиональных требований обучающихся на циклах последипломного образования //Actualscience. - 2017. - Т. 3, № 1. - С. 32-36.
6. Петрова И.Ю., Поликарпова Н.В. Удовлетворенность слушателей различными сторонами образовательного процесса как интегративный критерий результативности работы учреждения дополнительного профессионального образования //Научно-методическое обеспечение оценки качества образования. - 2018. - № 2 (5). - С. 156-160.
7. Семенова Т.В., Природова О.Ф. Непрерывное образование специалистов здравоохранения. Новые разъяснения Минздрава // Здравоохранение. - 2019. - № 11. - С. 12-25.
References
1. Balkizov Z.Z. Prirodova O.F. Semenova Tatyana V. Sizova Zh.M. Transition to the new system of medical care work permission: accreditation and continuing medical education// Medical Education and Professional Development - 2016. - № 4 (26). - P. 12-18.
2. Romanova E.A. Marketing research of satisfaction with the quality of educational services of continuing education // Bulletin of modern research. - 2019. - № 1-15 (28). - P. 145-152.
3. Dvortsov V. B., Didenko A. V. The features of monitoring of subjective satisfaction with the results of the educational process in the system of additional professional education of adults // Theory and practice of scientific research: psychology, pedagogics, economy and management. - 2019. - № 1 (5). - P. 9-18.
4. Danilchenko S.L. A model of a regional feedback system for identifying the satisfaction of the pedagogical community of Crimea and Sevastopol with the quality of educational services in the field of further education // The development of modern education: theory, methodology and practice. - 2015. - № 4 (6). - P. 102-120.
5. Rezahanova O.A., Lapteva, E.S., Melnikova E.A. Analysis of satisfaction with the organization and content of the educational process taking into account the professional requirements of students on cycles of postgraduate education //Actualscience. - 2017. - Vol. 3, - № 1. - P. 32-36.
6. Petrova I.Yu., Polikarpova N.V. Listeners satisfaction with various aspects of educational process as integrative criterion of supplementary professional education effectiveness institution work // Scientific and methodical provision to assessment the education quality. - 2018. - № 2 (5). - P. 156-160.
7. Semenova T.V., Prirodova O.F. Continuing education of health professionals. New clarifications from the Ministry of Health //Zdravoohranenie. - 2019. - № 11. - P. 12-25.
PRINCIPLES OF AUTOMATION OF ANALYSIS OF HEALTH PROFESSIONALS' SATISFACTION WITH PROFESSIONAL
DEVELOPMENT COURSES
Fomina M. A,1 Prirodova O. F.1 Brazovskaya N. G.2
7 Federal State Autonomous Educational Institution of Higher Education 'Russian National Research Medical University named after N.I. Pirogov' Ministry of Health of the Russian Federation, Moscow
2 Federal State Autonomous Educational Institution of Higher Education 'Siberian State Medical University', Ministry of Health of the Russian Federation, Tomsk
Correspondence should be addressed: Fomina Maria Alekseevna, [email protected]
Abstract
Systematical assessment of health professionals' satisfaction with professional development courses made by an educational institution is a critical factor in assessing the implementation quality of such courses, internal monitoring of the service quality in the educational institution and improving the quality of the whole educational content and process. Using the official website of continuing medical and pharmaceutical education of the Ministry of health (Russia) (edu.rosminzdrav.ru) through the personal account of an educational institution provides several additional opportunities. In particular, it helps the educational institution to obtain information about the health professionals' satisfaction with professional development courses and makes it possible to automate the analysis. At the same time, an adequate assessment of the education quality through the analysis of customer satisfaction is possible only if there is a significant number of feedback responses. It creates the need to motivate students to give feedback. We characterize parameters of the automated analysis of students' satisfaction with professional development courses: binary assessment, point assessment, questionnaire, comments. We also form and describe the basic principles of the automated analysis of health professionals' satisfaction with professional development courses: regularity, cumulability, systematicity, integrativity, productivity and representativeness.
Keywords: professional development, continuing education, health professionals, satisfaction analysis
