CC BY
14
Методика управления обучением на основе классификации ошибок в
сложных открытых задачах
В.А. Латыпова, А.Г. Тюрганов Уфимский государственный авиационный технический университет
Аннотация: Существуют различные методики управления обучением, направленные на повышение эффективности работы как студентов, так и преподавателей. Они ориентированы в основном на задачи, которые можно проверить только с помощью тестов. Однако есть большой класс задач, которые проверить тестами нельзя. К ним относится большинство сложных открытых задач, задач позволяющих сформировать умения и владения. В статье рассмотрены существующие методики управления обучением, выделены их основные типы и определен наиболее эффективный тип, в основе которого лежит процессный подход. В рамках данного подхода разработана методика управления обучением на основе классификации ошибок. Определены категории ошибок в сложных открытых задачах: ошибки по текущему учебному курсу, ошибки по пройденным ранее курсам, ошибки, не связанные со знаниями и умениями. Ключевые слова: управление обучением, адаптивное управление, процессный подход, сложная открытая задача, классификация ошибок, обобщение ошибок.
Введение
Обучение может рассматриваться как объект управления. Существуют различные методики управления обучением, направленные на повышение эффективности работы как студентов, так и преподавателей. Источником информации для управления являются данные, собранные по процессу обучения. И от того какие данные собираются и как они обрабатываются напрямую зависит эффективность управления. Различные методики управления обучением ориентированы в основном на задачи, которые можно проверить только с помощью тестов. Однако есть задачи, которые проверить тестами нельзя. К данным задачам относится большинство сложных открытых задач (далее СОЗ) [1].
Необходимо подробно рассмотреть существующие методики управления обучением, выделить основные типы методик, выбрать наиболее эффективный тип и разработать в рамках данного типа методику управления обучением в решении СОЗ.
1 О СОЗ
СОЗ - это задачи, обладающие открытостью и сложностью. Термин «complex open ended assignments» использовался в работах[2, 3] и его трактовка была расширена в работе [1]. Под «открытостью» понимается такая формулировка условий задачи, при которой в условии задачи не приводится вариантов ее решения. Под «сложностью» понимается наличие проблем при проверке задаче и ее выполнении. Открытые задачи - это задачи со свободным ответом, задачи на дополнение.
Задача обладает сложностью при сложном результате, процессе решения или при сложной организации выполнения и проверки. По типу сложности СОЗ разделяются на: задачи со сложным результатом, многошаговые задачи, задачи со сложной организацией выполнения и проверки, задачи с комбинированной сложностью[1].
Большинство работ, позволяющих сформировать умения и владения относятся к СОЗ и их нельзя проверить с помощью тестов.
2 Методики управления обучением
Существующие методики управления обучением можно разделить на два класса:
• методики, реализующие механизм адаптации к обучающемуся;
• методики на основе процессного подхода.
2. 1 Методики, реализующие механизм адаптации к обучающемуся
Методики данного типа ориентированы на отдельно взятого студента. Собирается статистика по обучению студента. По результатам обработки данной статистики происходит адаптация обучения конкретного студента. Адаптация может принимать различные формы:
• изменение уровня или категории обучающегося [4 - 7]. В данном случае меняется методика обучения в пределах некоторой совокупности
заранее заданных методик, изменяется состав учебного материала (для успевающего студента и для отстающего студента траектория обучения различается, подаются различные по размеру и содержанию материалы);
• изменение состава учебного материала в зависимости от ранее полученных ответов (фильтрация учебного материала: не выдается материал, по которому студент ответил правильно на заданные вопросы);
• алгоритм обучения определяется исходя из оценки усвоенного ранее материала.
В данных методиках стоит акцент на поиске изъянов у обучающихся.
Уровневое обучение по мнению авторов может быть приемлемо только случае обучения групп, где учебный план предполагает различное количество часов, отводимое на обучение. В остальных случаях оно не приемлемо, т.к. все студенты должны приобрести заданные знания, умения и владения (далее ЗУВ) в не зависимости от того, к какой категории: успевающих или неуспевающих их можно отнести.
Часто в методиках данного типа не предполагается изменение исходного содержания учебного материала, меняется только форма представления готового материала (часть может скрываться, уровневое предоставление материала).
В методиках делается акцент на оперативном управлении обучением.
2.2 Методики на основе процессного подхода
Процессный подход в управлении основан на «цикле Деминга», который состоит из следующих шагов: планирования процесса, его выполнения, анализа показателей эффективности процесса, внесения корректировок в процесс[8].
Методика управления на основе процессного подхода ориентирована не на отдельно взятого студента. Идет ориентация на всех обучающихся с
целом. Собирается статистика по обучению всех студентов за продолжительный период (например, семестр). Анализ такой статистики позволяет определить общие неблагоприятные тенденции, изъяны в самом процессе обучения. Таким образом, в управлении акцент смещается от студента в сторону процесса обучения. В результате анализа собранной статистики меняется методика обучения, меняются исходные учебные материалы, алгоритм и это позволяет адаптироваться ко всем студентам сразу, т. е. уже не так важен контингент учащихся. Акцент на совершенствовании процесса обучения. Например, если большинство студентов делает одну и ту же ошибку, значит имеется большая вероятность того, что, например, в учебном материале отсутствует информация по данному вопросу или она выражена не явно. Также может быть причиной некорректно составленный вопрос. Повторяющаяся из работы в работу ошибка явно говорит о том, что необходимо внести изменения в процесс обучения. Использование же первой методики в данном случае может привести к неоправданному снижению уровня обучения.
Акцент в данном случае смещается от оперативного на тактический уровень: заданы значения показателей процесса обучения и их надо достигать путем изменения самого процесса. На оперативном же уровне используется, как правило, жесткое управление согласно заданной модели (алгоритму) процесса обучения, обеспечивающее автоматизированное обучение.
Процессный подход позволяет обучать студентов в независимости от того, какие студенты: отстающие или успевающие. Данный подход, по мнению авторов, является более эффективным.
3 Особенности управление обучением при наличии СОЗ
На рис.1 представлена модель процесса автоматизированного обучения, позволяющая индивидуализировать обучение, при отсутствии
СОЗ, построенная в нотации БРМЫ с помощью программного средства Bizagi [9].
1 1 I Нет
со О о >/4 > Изучение теоретмч, Прохождение тестирования изучение методики Решение задачи в
ей 'Ч / *\ ? ' решения задачи /Н J
\0 и ^ ч/ материала по теории форме теста
£ Тест пройден Тест пройден
У •■в о успешно? успешно?
Рис.1. - Модель процесса обучения при отсутствии СОЗ При наличии СОЗ алгоритм обучения меняется. На рис.2 представлена модель обучения в данном случае на примере прохождения студентами одного этапа.
_
Проверка решения задачи
_|__|_верно?_
Рис.2. - Модель процесса обучения при наличии СОЗ Как видно из рис.1 и рис.2, что при наличии СОЗ процесс обучения не может протекать без присутствия преподавателя. Использование автоматизированных обучающих систем позволяет изъять преподавателя из процесса обучения но только в том случае, если в учебном процессе отсутствуют СОЗ.
4 Методика управления обучением на основе классификации ошибок
Управления обучением проводится по контурам регулирования и адаптации. Работа контура регулирования позволяет собирать отклонения в процессе обучения: ошибки в ЗУВах, выявленные преподавателем. Работа контура адаптации позволяет совершенствовать процесс обучения, изменяя его.
На рис.3 изображена схема системы управления обучением, когда в учебном курсе присутствуют СОЗ.
Корректировка модели обучения
Модель обучени^
Источники проблем курса и их местоположение
-Отклонение-
Блок сравнения
I А
Фактические показатели
Эталонные показатели процесса обучения
средство управления обучением
Подсистема поддержки принятия уПодсистема сб°ра
решения
ошибок
Классифиц. ошибки
-Ошибки-
Классификация ошибок
(преподава
Выбор УВ:
1)Перевод на следующий шаг
2)Возврат к шагу
3)3авершение обучения
Анализ отклонения
УВ
Студенты -без знанийН по курсу
ОУ Обучение
Возмущающие воздействия
т
ЗУВ, компетенции по курсу
Отклонение (ошибка)
Приобретенные I— ЗУВ, ч компетенции
Контур регулирования
Контур адаптации
Рис.3. - Схема системы управления обучением при решении СОЗ
После того как прошел цикл обучения и собраны ошибки по решению СОЗ проводится предварительная обработка ошибок и их классификация. Классификация ошибок позволяет определить значительную долю показателей эффективности обучения, когда в курсе имеются СОЗ и на основании полученных значений данных показателей при выявлении отклонений провести корректировку модели обучения.
4.1 Обобщение ошибок
Предварительная обработка ошибок включает в себя ликвидацию дублирования ошибок и их обобщение. Необходимость обобщения ошибок возникает, когда СОЗ решаются для различных предметных областей, имеющих свою специфику. Обобщение ошибок в данном случае позволяет выявлять отклонение вне контекста предметной области решаемой задачи, а также в следующем цикле обучения свести к минимуму ручной ввод преподавателем.
Например, при построении организационной структуры предприятия в учебном курсе по дисциплине «Системология и реинжиниринг систем управления» некоторые студенты неверно определяли иерархические связи (подчиненность) для некоторых элементов. У каждого студента было свое уникальное предприятие, соответственно, ошибки формулировались по-разному.
Обобщение ошибок происходит поэтапно. Сначала создается шаблонная ошибка, которая состоит из повторяющейся части (шаблона ошибки) и вариативной части, отражающей специфику предметной области. Далее создается обобщенная бесшаблонная ошибка, которая состоит из повторяющейся части, а вариативная часть заменяется примером из другой предметной области.
Шаблон ошибки для приведенного выше примера будет таким: «Неверно указана иерархическая связь. Связь показывает подчиненность
сотрудников». Вариативная часть будет отражать конкретное место в конкретной оргструктуре студента, например: «Бармен не подчиняется официанту» (при проверке работы, в которой строится организационная структура ресторана).
Обобщенная бесшаблонная ошибка по данному примеру может быть такой: «Неверно указана иерархическая связь. Связь показывает подчиненность сотрудников. Например, на кафедре лаборант не может подчиняться преподавателю, он подчиняется заведующему лабораторией. Исправьте аналогично».
Обобщение ошибок необходимо для сокращения времени на проверку работ при:
• поиске нужной ошибки за счет уменьшения количества просматриваемых ошибок. Каждый шаблон скрывает несколько шаблонных ошибок;
• вводе текста ошибки и комментария к ее исправлению.
Использование шаблонной ошибки или обобщенной бесшаблонной
зависит от конкретной ситуации. Что займет больше по времени: ввод текста новой ошибки или повторная проверка на наличие найденной ранее ошибки. Если ввод текста новой ошибки занимает больше времени, то предпочтительнее использовать обобщенную бесшаблонную ошибку, в противном случае - шаблонную.
Рассмотрим пример. Например, по заданию оргструктура организации должна быть разработана детально: должны быть рассмотрены сотрудники для каждого отдела. Однако некоторые студенты в оргструктуре отобразили только отделы, или рассмотрели сотрудников не для всех отделов. В данном случае нужно использовать обобщенную бесшаблонную ошибку: «Согласно заданию на орструктуре должны быть представлены сотрудники для каждого отдела». Здесь повторная проверка работы на наличие данной ошибки по
времени незначительна. При использовании шаблонной ошибки преподавателю бы пришлось перечислять название всех отделов, где не были представлены соответствующие сотрудники и повторить данную процедуру для каждой работы.
Что касается управления, то и шаблонные и обобщенные бесшаблонные ошибки одинаково помогают выявлять отклонение вне контекста предметной области решаемой задачи.
4.2 Классификация ошибок
В результате анализа ошибок, выявленных при автоматизированной проверке СОЗ, относящихся к различным дисциплинам и типам задач (лабораторные работы и курсовые проекты) были определены следующие категории ошибок:
• ошибки, связанные с ЗУВами текущего учебного курса;
• ошибки, связанные с ЗУВами по пройденным студентами ранее учебным курсам;
• ошибки, не связанные с ЗУВами по учебным курсам[1].
Первые две категории могут быть определены для любых задач,
включая и те, которые можно проверить автоматически. Последняя же категория ошибок относится только к СОЗ.
Среди ошибок, не связанных с ЗУВами можно выделить следующее категории ошибок:
• пропущенные пункты в решении;
• проблемы с файлом: не открывается, конфликт версий, пустой файл, отправлен не тот файл(старая версия работы, шаблон задания);
• ошибки, связанные с иллюстрациями (скриншоты, схемы, графические модели): их нечитаемость (неразборчивость), некорректное
отображение, избыточная и недостающая информация (например, в скриншотах), некорректное название рисунков;
• попытки плагиата (модели графические нельзя проверить антиплагиатом, проверяются преподавателем в ручную);
• ошибки оформления (текстовой и графической информации);
• отправление работы без исправления найденных ранее ошибок;
• некорректная отправка работы: отправка нескольких работ за раз, отправка работы частями, несвоевременная отправка работы.
Данные категории ошибок были выявлены во всех учебных курсах, где студенты решали СОЗ при выполнении лабораторных и курсовых работ [1, 10].
Выводы
Рассмотрены существующие методики управления обучением и выделены соответствующие типы: методики, реализующие механизм адаптации к обучающемуся и методики на основе процессного подхода.
Рассмотрены особенности управление обучением при наличии СОЗ и представлена методика управления обучением на основе классификации ошибок в СОЗ в рамках процессного подхода. Рассмотрены такие категории ошибок как: ошибки, связанные с ЗУВами текущего учебного курса; ошибки, связанные с ЗУВами по пройденным студентами ранее учебным курсам; ошибки, не связанные с ЗУВами по учебным курсам.
Литература
1. Латыпова В.А. Сложные открытые задачи в смешанном и дистанционном автоматизированном обучении // Инженерный вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.
2. Admiraal W., Pilli O. Assessment in Massive Open Online Courses // The Electronic Journal of e-Learning. 2015. Vol.13. Issue 13. pp. 207-216.
3. Tuned models of peer assessment in MOOCs / C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller // Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp.153-160.
4. Доррер А.Г. Моделирование и разработка интерактивных обучающих систем с адаптацией: дис. ... канд. тех. наук: 05.13.01. Красноярск, 2005. 156 с.
5. Леванов Д.Н. Модели адаптивного управления изложением материалов в электронных курсах для дистанционного обучения // Инженерный вестник Дона. 2013. №4. URL: ivdon.ru/magazine/archive/n4y2013/2208
6. Соколова Н.А., Щеголькова В. А. Адаптивное управление обучением на основе прецедентов с применением модели обучаемого URL: sworld.com.ua/simpoz7/55.pdf
7. Адаптивное обучение, как одно из перспективных направлений в современной информационной обучающей системе / Ю. В. Бунтури, О. В. Канищева, М. А. Вовк, И. В. Лютенко // Системи обробки шформацй. 2017. Выпуск 2(148). С. 155-162.
8. Репин В.В., Елиферов В.Г. Процессный подход к управлению. М.: Стандарты и качество, 2004. 398 с.
9. Официальный сайт программы Bizagi URL: bizagi.com.
10. Латыпова В. А. Методики проведения и проверки лабораторных работ при смешанном и дистанционном автоматизированном обучении // Инженерный вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3129.
References
1. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3211.
2. Admiraal W., Pilli O. The Electronic Journal of e-Learning. 2015. Vol.13. Issue 13. pp. 207-216.
3. C. Piech, J. Huang, Z. Chen, C. Do, A. Ng, D. Koller Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, Memphis, TN, USA. International Educational Data Mining Society, 2013. pp.153-160.
4. Dorrer A.G. Modelirovanie i razrabotka interaktivnykh obuchayushchikh sistem s adaptatsiey [Interactive training systems modeling and development]: dis. ... kand. tekh. nauk: 05.13.01. Krasnoyarsk, 2005. 156 p.
5. Levanov D.N. Inzenernyj vestnik Dona (Rus). 2013. №4. URL: ivdon.ru/magazine/archive/n4y2013/2208
6. Sokolova N.A., Shchegol'kova V.A. Adaptivnoe upravlenie obucheniem na osnove pretsedentov s primeneniem modeli obuchaemogo [Adaptive training control based on precedents using trainee model]. URL: sworld.com.ua/simpoz7/55.pdf.
7. Yu. V. Bunturi, O. V. Kanishcheva, M. A. Vovk, I. V. Lyutenko Sistemi obrobki informatsiï. 2017. Vypusk 2(148). pp. 155-162.
8. Repin V.V., Eliferov V.G. Protsessnyy podkhod k upravleniyu [Process approach in management]. M.: Standarty i kachestvo, 2004. 398 p.
9. Ofitsial'nyy sayt programmy Bizagi [Bizagi official site]. URL: bizagi.com.
10. Latypova V.A. Inzenernyj vestnik Dona (Rus). 2015. №3. URL: ivdon.ru/ru/magazine/archive/n3y2015/3129.
