Инструменты оценки эффективности обучения по стандартам sefi в e-learning системе Math-Bridge Текст научной статьи по специальности «Науки об образовании»

Инструменты оценки эффективности обучения по стандартам SEFI в e-learning системе Math-Bridge

Новикова Светлана Владимировна доцент, д. т. н., профессор кафедры Прикладной математики и информатики, Казанский национальный исследовательский технический университет им. А. Н. Туполева (КАИ), ул. Большая Красная, 55, г. Казань, 420015, (843)2310086 sweta72@bk.ru

Новикова Ксения Николаевна студент,

Казанский национальный исследовательский технический университет им. А. Н. Туполева (КАИ), ул. Большая Красная, 55, г. Казань, 420015, (843)2310086 ksushanow@mail. га

Аннотация

В статье исследуется проблема адекватной оценки уровня полученных знаний и умений по математическим дисциплинам в свете компетентностного подхода. В качестве примера электронной обучающей среды, позволяющей проводить такую адекватную оценку, рассматривается e-learning система обучения математике Math-Bridge (разработка Немецкого исследовательского центра по искусственному интеллекту - Deutsches Forschungszentrum für KünstlicheIntelligenz - DFKI). Описываются встроенные в среду инструменты, позволяющие оценивать знания и умения обучаемых в соответствии с компетенциями Европейской ассоциации инженерного образования (SEFI).

The article studied the problem of adequate assessment of the level of acquired knowledge and skills in mathematical disciplines within the competence approach. As an example an e-learning environment that allows you to carry out such an adequate assessment, we consider the e-learning system of teaching math MathBridge (development of the German Research Center for Artificial Intelligence -Deutsches Forschungszentrum für KünstlicheIntelligenz - DFKI). Built-in environment tools are described that allow to evaluate the knowledge and skills of students in accordance with the SEFI -competences by the European Society for Engineering Education.

Ключевые слова

компьютерное обучение, компетенции, тесты, инженерное образование computer training, competencies, tests, engineering education

Введение

В настоящее время в России практически все образовательные программы высшего профессионального образования разрабатываются в соответствии с Болонским процессом, призванным сблизить системы образования Европы, России и других стран-участниц [1]. Болонский процесс призван создать некое общее образовательное пространство, общие стандарты и правила для обеспечения

возможности получения высшего образования неизменно высокого качества гражданам любой страны как на Родине, так и в любом другом государстве Европы.

На ряду с основополагающими принципами организации самого учебного процесса, например, введение двухуровневой системы высшего образования (бакалавр-магистр), большое внимание при реализации Болонского процесса отводится контролю качества полученного образования, его эффективности и практической реализуемости. Последнее особенно актуально для инженерных ВУЗов, выпускники которых должны обладать необходимым набором практических знаний и умений для востребованности на Европейском рынке труда [2].

Проверка практических знаний и умений в рамках Болонского процесса осуществляется на основе так называемого компетентностного подхода, когда в качестве результата каждой образовательной программы или конкретного обучающего курса выступает набор полученных в результате компетенций, описанных и перечисленных при составлении рабочих программ курсов. Степень усвоения каждой представленной компетенции оценивается согласно бально-рейтинговой системе [3].

Однако в России система компетенций до сих пор развита довольно слабо. Не смотря на многочисленные попытки модернизировать и конкретизировать содержание компетенций для каждой специальности, их описание до сих пор довольно расплывчато и допускает самые различные толкования. Также многие компетенции, присутствующие в современных образовательных стандартах России, практически не поддаются адекватной количественной оценке, а следовательно оценка степени их усвоения в баллах не более чем некое абстрактное приближение, к тому же и субъективное.

В странах Европы перечень и содержание компетенций для технических и инженерных специальностей регламентирован Европейской ассоциацией инженерного образования, и известен как «стандарт 8БР1». Именно использование 8БР1-стандартов позволяет однозначно оценить качество полученного инженерного образования, а потому изучение и перенос такого полезного опыта в Россию весьма актуален.

Возможности автоматической проверки компетенций SEFI.

Стандарты, разработанные Европейской ассоциацией инженерного образования, описывают перечень умений и знаний, которыми должны обладать студенты, изучающие инженерные специальности. Стандарт охватывает базовые математические дисциплины, изучаемые в технических ВУЗах: линейную алгебру, математический анализ, дискретную математику, теорию вероятностей и некоторые другие. Стандарт максимально конкретизирован. Для каждой дисциплины приводится перечень обязательных к изучению разделов, а для каждого раздела -перечень необходимых в результате его усвоения навыков-компетенций. Приведенные компетенции группируются по уровню сложности, всего предполагается 4 различных уровня усвоения - от базового начального (level 0), до максимального (level 3).

Так например для курса линейной алгебры на начальном уровне (level 0) обязательными являются темы и соответствующие компетенции: 1. Арифметика действительных чисел.

Необходимые компетенции:

• выполнять операции сложения, вычитания, умножения и деления на положительных и отрицательных числах;

• выразить целое число в виде произведения простых множителей;

• вычислить наибольший общий делитель и наименьшее общее кратное набора целых чисел

• и другие...

2. Алгебраические выражения и формулы Необходимые компетенции:

• сложение и вычитание алгебраических выражений и упрощение результата; перемножение двух алгебраических выражений, вынесение за скобки;

• решение линейных алгебраических уравнений;

• и другие.

На следующем по сложности уровне (level 1) обязательными являются следующие темы и их компетенции:

1. Векторная арифметика.

Необходимые компетенции:

• представить вектор графически;

• определить единичный вектор в заданном направлении;

• представляют вектор в виде векторных компонент (две и три компоненты);

• и другие.

2. Матрицы и определители.

Необходимые компетенции:

• умножение матрицы на число;

• вычисление определителей матриц размерностью 2х2 и 3х3;

• вычисление ранга матрицы

• и другие.

Подобные списки представлены и для следующих уровней усвоения курса, а также для других базовых математических курсов.

Как видно, в отличие от Российских, компетенции SEFI строго конкретизированы, не допускают двойных толкований и легко проверяемы. Кроме того, такая четкая организация стандарта позволяет легко организовать автоматическую проверку уровня усвоения перечисленных компетенций, так как субъективный компонент в оценке отсутствует.

Именно поэтому компетенции SEFI заложены в основу инструментальных средств проверки эффективности усвоения материала в электронной системе обучения математике Math-Bridge, специально разработанной для поддержки математического и инженерного образования в технических ВУЗах стран-участниц Болонского процесса Немецким исследовательским центром по искусственному интеллекту - Deutsches Forschungszentrum für KünstlicheIntelligenz - DFKI [4]. E-learning система Math-Bridge широко применяется в технических университетах Европы (Германия, Франция, Финляндия), а также в университетах Армении, Грузии и других стран. В рамках европейской образовательной программы TEMPUS система Math-Bridge внедрена в учебные процессы технических ВУЗов России: Казанского национального исследовательского технического университета-КАИ, Нижегородского государственного университета им. Н. И. Лобачевского, Национального исследовательского Мордовского государственного университета им. Н.П. Огарева, Тверского государственного университета, Санкт-Петербургского государственного электротехнического университета [5].

Принципы организации математических курсов в системе MathBridge.

Основное отличие системы Math-Bridge от других дистанционных программных комплексов состоит в узкой направленности на изучение математических близких инженерных дисциплин с акцентом на практическую составляющую обучения. Для этого в системе присутствуют специальные инструментальные средства, тогда как для достижения того же эффекта универсальные e-learning системы должны быть дополнены внешними программными модулями [6]-[7].

Являясь полноценной электронной образовательной средой, система MathBridge позволяет создавать и сопровождать учебные объекты различных типов -теоремы, определения, доказательства, аксиомы, примеры, упражнения, тесты и другие. Каждый из созданных объектов оформляется и предоставляется для совместного использования разработчикам других курсов, что позволяет буквально «собирать» курс из отдельных блоков, следуя собственной траектории и задачам обучения (Рис.1.).

т а% 1Ы1»

у II r~mm.il "rrrr 1 it urnjii ,„ г „ ,Г1-тг _____ ■ . • » Ч»твв ч

ц Л ■■М1ЧЦ

ЙН Д NO »»шмщщт |цдаач»»цп> •

■а Д WO Г*\|»И>"Ч iniHfW!«W»ri • A tfO WtiHiiiщцхцч

A "C'JflT» WCWHWI МП10Я (.o*M«t**.*) ОП1Ш9ПвЛ0» • ИКЛДШТИ'И'М 1» <Дк(упи»«

Ш Д «О.МмипмяЬши •

Д МО_Нтя| |И1Ц1Ши гаакм • CfMmWNIH СОД»|ЙОИ1И Л ЛцфеСмкш ||ММ

Д МО JfpMvJJ Ка»<««иа4т»а •

* Д мо.Нпш (цшммгч пиа* • ^ ггг

Д *N>_UIH(JM> MHUfc* МОИМ! И'ЦПМ •

Д M&.WWimiii 1 • л • Д мо.Икгааммлпв*» • л ЧмцмАмпм

Рис.1. Блочная структура курса «Методы оптимизации»- учебные элементы темы «Численные методы одномерной оптимизации»

Каждый учебный объект содержит собственный контент, который может включать в себя специфические элементы, предназначенные для усиления практической экспериментальной составляющей обучения. К таким объектам относятся интерактивные формулы, структуры LaTex и интерактивные графические объекты

GeoGebra (Рис.2.).

Рис. 2. Учебный объект типа «Пример» с внедренным в контент интерактивным графиком СеоОеЬга, демонстрирующим определение локальных точек

минимума

Отдельно стоят так называемые динамические учебные объекты, позволяющие организовать диалог и взаимодействие с обучаемым, выбирая для него оптимальную образовательную траекторию. Такие объекты являются ноу-хау разработчиков системы Math-Bridge. Логика их функционирования описывается в системе в виде графов с условными и безусловными переходами, в узлах которого обучаемый или получает очередное задание, либо отвечает на него (Рис.3.).

Рис. 3. Пример описания интерактивного упражнения на тему «Определение минимума функции многих переменных классическим методом»

Динамический учебный объект представляет собой виртуальную вычислительную лабораторию, где студент может проводить пошаговые вычислительные эксперименты и наблюдать результат выполнения каждого шага в реальном времени. До создания среды Math-Bridge подобные программные средства создавались как самостоятельные комплексы [8]-[9], оценка успешности выполнения заданий в которых не требовала создания отдельных вычислительных блоков [10].

Интерактивные учебные объекты применяются в системе Math-Bridge для создания тестов и заданий, которые, в свою очередь, используются для оценки уровня усвоения компетенций согласно стандарту SEFI.

Индикаторы усвоения материала в системе Math-Bridge.

Для создания элемента, проверяющего степень овладения компетенцией, в системе Math-Bridge создается динамический учебный объект типа «Упражнение». Процесс создания таких объектов подробно описан в [11]. Однако сам по себе объект еще не является средством контроля. Для того, чтобы созданное задание было способно автоматически проверять компетенцию, необходимо настроить параметр «Отношения» метаданных учебного объекта.

Для настройки параметра «Отношения» необходимо открыть объект в режиме редактирования и нажать на кнопку «Изменить метаданные» на панели метаданных в правой части окна редактора. У объекта, который не может использоваться для проверки компетенций, поле «Отношения» пусто (Рис.4.):

Рис.4. Интерактивный учебный объект типа «Упражнение», непригодный для оценки уровня усвоения компетенций

В открывшемся окне «Изменить метаданные» на первом шаге следует выбрать тип изменяемых метаданных - Отношения (Рис.5.):

Рис. 5. Выбор типа редактируемых метаданных

На следующем шаге - Установить значения - следует выбрать значение «Учит» (Рис.6.):

Рис. 6. Выбор значения для метаданных «Отношения»

После чего необходимо в свободном поле справа описать компетенции стандарта 8ЕР1, проверяемые данным упражнением. Список всех компетенций

доступен по нажатию на кнопку справа от поля для ввода. Список

компетенций организован в виде иерархической структуры «Уровень усвоения-Учебный курс- Тема - Компетенция» (Рис.7.).

-contentcr»ator.<mtologr*orow»*r-tjti«-

ИЬсй IHtevell tl analysisand cAukji leveH ix discrete fnathemates^ev&l l«fl geometry 4eve41 1*1 Inear aigetrj-levH 1 ih tedM square cutvc long ih »near spaces and hansformabons (H metric es-and-determinanls

ca!cut3te.lhe_(Jelerin«nm_ot.2.i<_2.and_3,i(_3_malnce5

caicu(aiejl«_rarti_oi_a_maBB

eelermme_any_scaar_mu«pte_o»_a_mairc«

oWain_Oiejrarspose_o(_a_nM«n»

s«ate_tbe.cr«enon tor_a.«|iiare.matm_lo..haw,an.rM!rse

ixukirsindjh«! jeomem: .mtrrj»e(iilinn_qf__i_i_2_«ne_1_»_3_di

i«dersiand_whajs_meart_t>>_a_rTairei

use_appropnaie_software_tt),eelem«nej rwersejnalnc es

Рис. 7. Выбор конкретной компетенции, проверяемой при помощи созданного

упражнения

Нажав кнопку «Сохранить», выбранная компетенция будет добавлена в список компетенций, проверяемых данным упражнением. Таким образом можно добавить несколько компетенций, то есть одно и тоже упражнение будет способно оценивать овладение различными компетенциями (Рис.8.).

Рис. 8. Добавление к учебному объекту метаданных, позволяющих оценивать

две выбранные компетенции

После опубликования, учебный объект с проверкой компетенций необходимо включить в учебную книгу или проверочный тест для последующего представления материала студентам [5].

Учебный курс, содержащий в себе элементы для оценки уровня усвоения компетенций, будет иметь индикаторную диаграмму - круг, степень заполнения которого соответствует количеству освоенных компетенций. Такие же индикаторные круги будет содержать каждый раздел курса с интерактивными оценивающими элементами (Рис.9.).

¡Сит 1 " * & ï &

Смитами «

•

»■J» m «U М0_0рм«м» i 4 UMHIMKIM 4dM«N*NM »1MWMMMI»

Клоссичкеский метод "1

"о одномерной оптимизации

1 fhiimw юмшмя О

Haumfttaa «mu fcmoau шмн ctuytt кимыш» i m стучмх. ко г за эоситошю цккк>уда^т ампнтъ к« rojcocnrrninr renin м f<*tn»:«ir» доги пита ишми Ujm. нп hiiii мп наш ну—пяи» ^iimnifMM Jctei мш, iiv шчклгшг lymuaejiMll f Ir) ■ iipaininuu шина iiwiyH ttlMd кадкамшм Нацмнф мяш аимшд. чь» ituvtue i>> luuui ,<(4) оирелсииакд ш юблкоаиЛ иш ««»•ийо Филипп nmi|—mi» N «пжучвтг n п apMUMUikil tpaâMr anf)jinnjuú Me aunt » ш «учи*. шл

гфяваям —

Рис. 9. Представление обучаемым курса с интерактивными элементами оценки уровня усвоения компетенций по каждому разделу (индикация состояния «компетенции по разделу «Безусловная оптимизация» усвоены на 30%, по разделам «Условная оптимизация» и «Линейная оптимизация» - не усвоены»)

Также возможно задавать способ вычисления степени усвоения компетенций для каждой группы студентов в отдельности. Для этого необходимо войти в раздел «Управление» на панели элементов в верху окна системы Math-Bridge и в списке управляемых элементов (слева) выбрать раздел «Группы». В окне редактора отобразятся все группы, внесенные системным администратором для доступа к курсу (Рис.10.).

« а

Рис. 10. Окно просмотра групп студентов, записанных на курс.

В колонке «Операции» необходимо нажать кнопку ® «Редактировать группу». В открывшемся окне «Редактировать настройки группы» присутствует опция «Показатели прогресса», которая и задает способ вычисления оценки степени усвоения компетенций (Рис.11.):

Р»01ЯТ|фО№Я1Ъ ЧКГРО!«» fp\nr1M

• *ЖИ!М1ГЬ НКТОПЙ1ИДО" ОгМО*

Чинит гр\ппь 42М

группе Мет группы ■чмтым*

Прг-иолмгст 1 fstnmitoirjf

«снгрсиывд тругта : FT

WK т» Uiwwrwa

С&ОН htaUMXM) «

Рис. 11. Выбор одного из трех возможных способов вычисления степени усвоения компетенций по стандартам SEFI

Всего доступны три способа, не включая отсутствие подсчетов вообще

(none):

1. Подсчет количества сделанных попыток (effort). Это простейший способ оценки, не учитывающий успешность прохождения заданий и упражнений. Применим лишь для общего обзора и для контрольных групп при проведении сравнительного анализа.

2. Подсчет успешных попыток (success). При данном способе все успешные попытки прохождения тестов и заданий считаются равнозначными, степень сложности заданий не учитывается.

3. Полный алгоритм подсчета согласно рекомендациям стандарта SEFI (mastery). При данном способе осуществляется полная обработка полученных в ходе выполнения студентом задания данных, включая количество неудачных и удачных попыток, уровня сложности задания, и т.п.

После задания необходимого конкретно для указанной группы способа расчета, курс становится доступным для изучения, а поступающая от встроенных в интерактивные объекты информация об усвоении компетенций автоматически собирается и обрабатывается системой Math-Bridge для дальнейшего анализа преподавателями и разработчиками учебного математического курса (Рис. 12.).

Рис. 12. Доступный для изучения курс с индикатором степени усвоения компетенций (индикация состояния «Компетенции курса усвоены на 15%»)

Заключение

Инструментальные средства разработки электронной системы изучения математических и инженерных дисциплин Math-Bridge позволяют автоматически вычислять уровень усвоения студентами учебного материала в терминах компетентностного подхода в рамках стандарта SEFI. Такая объективная оценка качества полученных знаний согласуется с положениями Болонского процесса и способствует повышению уровня инженерного образования в технических ВУЗах Российской Федерации. E-learning система Math-Bridge является пионером среди дистанционных систем обучения в области не только гибкого интеллектуального подхода к процессу получения знаний и навыков, но и оценки уровня их усвоения.

Данный проект профинансирован при поддержке Европейской Комиссии в рамках программы Темпус (№ гранта: 543851-TEMPUS-1-2013-1-DE-TEMPUS-JPCR). Эта публикация отражает исключительно взгляды авторов. Комиссия не несет ответственности за любое использование информации, содержащейся здесь

This project has been funded with support from the European Commission. This publication [communication] reflects the views only of the author, and the Commission cannot be held responsible for any use which may be made of the information contained therein.

Литература

1. Захарова И.В., Сыромясов А.О. Отечественные стандарты высшего

образования: эволюция математического содержания и сравнение с финскими аналогами // Вестник Тверского государственного университета. Серия: Педагогика и психология. 2016. № 2. С. 170-185.

2. Захарова И.В., Кузенков О.А., Солдатенко И.С. Проект MetaMath программы Темпус: применение современных образовательных технологий для совершенствования математического образования в рамках инженерных направлений в российских университетах // Современные информационные технологии и ИТ-образование. 2014. № 10. С. 159-171.

3. Захарова И.В., Дудаков С.М., Язенин А.В., Солдатенко И.С. О методических аспектах разработки примерных образовательных программ высшего образования // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». 2015. т. 18. № 3. C. 330-354.

4. Сосновский С. А., Гиренко А. Ф. Галеев И. Х. Информатизация математической компоненты инженерного, технического и естественнонаучного обучения в рамках проекта MetaMath. // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». 2014. V.17. - №4. - C.446-457. - ISSN 1436-4522.

5. Новикова С.В., Валитова Н.Л., Кремлева Э.Ш. Особенности создания учебных объектов в интеллектуальной системе обучения математике Math-Bridge // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». 2016. V. 19. № 3 С. 451-462.

6. Новикова С.В. Проблемы интеграции практико-лабораторных модулей в дистанционный обучающий комплекс среды Learning Space. // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». 2014. - V.17. - №4. - C.543-554.

7. Шарамазанов Р.М., Савкина А.В., Савкина А.В. Архитектура многоагентной системы (МАС) обучения на базе lms MOODLE. // Национальная Ассоциация Ученых. 2015. № 7-2 (12). С. 78-82.

8. Савкина А.В., Савкина А.В., Федосин С.А. Виртуальные лаборатории в дистанционном обучении // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)».

2014. Т. 17. № 4. С. 507-517.

9. Новикова С.В. Преимущества компьютерных тренажёров при изучении вычислительных методов // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)».

2015. Т. 18. № 2. С. 478-488.

10. Зинкин С.А., Федосин М.Е., Савкина А.В. Описание механизма запуска вычислительных заданий в веб-центрах на основе логикоалгебраических спецификаций.//Научно-технический вестник Поволжья. 2013. № 4. С. 154-159.

11. Медведева С.Н. Разработка динамических учебных объектов в интеллектуальной системе онлайн обучения математике Math-Bridge// Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». 2016. V. 19. № 3 С. 522-543.