CC BY
207
Методика оценки уровня сформированности компетентности студентов в области разработки электронных образовательных ресурсов
Миронова Людмила Ивановна доцент, к.т.н., член-корреспондент Академии информатизации образования РАО,
доцент кафедры гидравлики, Уральский федеральный университет имени первого Президента России
Б.Н.Ельцина, ул.Мира, 19, г.Екатеринбург, 620002, (904)3846677 mц^mila@,mail. т
Аннотация
В статье рассмотрена методика, позволяющая в рамках вариативного курса обучать студентов, владеющих навыками программирования, разработке электронных образовательных ресурсов (ЭОР) для предметных областей, непрофильных по отношению к информатике. Предлагаемая методика реализуется в рамках междисциплинарного проектирования. Описан педагогический эксперимент, в котором использовался уровневый подход для оценки сформированности знаний и умений по теоретическим аспектам разработки ЭОР средствами итогового тестирования и опыта применения этих знаний и умений при решении практических задач, связанных с разработкой ЭОР, оцениваемого по результатам защиты проекта. Проведена статистическая обработка результатов педагогического эксперимента, которые убедительно доказывают, что после освоения вариативного курса «Основы междисциплинарного проектирования ЭОР» большинство студентов достигли высокого и базового уровней сформированности компетенций в области разработки электронных образовательных ресурсов. The article describes a technique that allows within the framework of variable course to teach students who own programming skills, the development of electronic educational resources (EER) for the subject areas of non-core relative to the computer. The proposed method is implemented in the framework of interdisciplinary design. Described pedagogical experiment, which used a tiered approach to evaluate the formation of knowledge and skills in the theoretical aspects of the development of EER tools of final testing and experience in the application of knowledge and skills in solving practical problems associated with the development of the EER, as measured by the results of the protection project. Statistical analysis of the results of the pedagogical experiment, which prove conclusively that after the development of variable rate, "An interdisciplinary design EER" most of the students have achieved high levels of formation competences in the development of electronic educational resources.
Ключевые слова
электронные образовательные ресурсы, компетенции, уровневый подход, педагогический эксперимент, междисциплинарное проектирование electronic educational resources, competences, level approach, pedagogical experiment, an interdisciplinary design
Введение
Будущая деятельность бакалавров, обучающихся по направлению подготовки «Математическое обеспечение и администрирование информационных систем» (МО и АИС) в условиях экономического университета должна быть ориентирована согласно Федеральному Государственному образовательному стандарту высшего образования (ФГОС ВО) [1] академического бакалавриата на разработку математических и алгоритмических моделей, программ, программных систем и комплексов, методов их проектирования и реализации, способов производства, сопровождения, эксплуатации и администрирования в различных областях, в т.ч. и междисциплинарных. По окончанию обучения бакалавр МО и АИС согласно ФГОС ВО должен быть готов к научно-исследовательской, проектно-конструкторской, организационно-управленческой, эксплуатационно-
управленческой и педагогической деятельности. Однако, в традиционной подготовке бакалавров основной упор делается на первые четыре вида деятельности. Подготовке к педагогической деятельности будущих бакалавров МО и АИС, предполагающей преподавание информатики в школах и колледжах и формирование практического опыта в области разработки методического обеспечения учебного процесса, не уделяется должного внимания. Поскольку современный учебный процесс не может быть организован без применения электронных образовательных ресурсов (ЭОР), что также регламентируется ФГОС ВО, необходимо формировать компетентность студентов в области разработки ЭОР в вузе.
Базовая профессиональная подготовка бакалавров в области МО и АИС представляет собой сочетание алгоритмико-программистского (Computer Science) и инженерного (Computer Engineering) подходов в обучении. Такой симбиоз двух направлений подготовки позволяет формировать у бакалавров МО и АИС одновременно с навыками оценки, отбора, упорядочения и обработки информации творческий подход к созданию новых методов обработки информации и средств информатизации [2 - 8].
В экономическом университете осуществляется подготовка студентов для различных отраслей экономики (торговля, банковское дело, менеджмент, маркетинг, макро- и микроэкономика, экономика и право, ресторанный и туристический бизнес, технология общественного питания, товароведение и экспертиза товаров и т.п.). Данные направления подготовки бакалавров слабо обеспечены необходимыми ЭОР.
Базовая профессиональная подготовка бакалавров МО и АИС формирует в них потенциал, который позволяет решать задачи, связанные с разработкой ЭОР под руководством преподавателей и методистов. Однако этот процесс тормозится отсутствием соответствующего учебно-методического обеспечения.
В настоящее время, в процессе становления информационного общества массовой коммуникации и глобализации, в ситуации, когда происходит смена экономических укладов, появляются новые учебные курсы и методики их преподавания, требуют обновления существующие, происходит развитие ФГОС ВО, уменьшается количество аудиторных часов и увеличивается доля самостоятельной работы студентов, появляется необходимость постоянного обновления и модификации ЭОР.
В работах [2, 3, 4, 5, 6, 9, 10] под электронным образовательным ресурсом, применяемым в вузе, будем понимать электронное средство учебного назначения, обеспечивающее: информирование студентов о дисциплине посредством удаленного интерактивного взаимодействия с пользователем; регламентацию самостоятельной работы студентов и предоставление учебно-методического контента на базе технологий мультимедиа, гипертекста, гипермедиа; автоматизацию контроля знаний и умений студентов.
Под созданием ЭОР понимается [2 - 5, 8] комплекс многовариантных действий в областях: педагогического проектирования ЭОР в соответствии с методикой преподавания; проектирования контента; разработки прикладной программы, реализующей составляющие контента и интерфейс ЭОР, который завершается получением нового (или модификацией существующего) ЭОР; описания нереализованных интерактивных анимационных, звуковых, видео и пр. компонентов контента ЭОР.
Анализ научных публикаций, связанных с теоретическими основами разработки ЭОР, позволил выделить два направления. Согласно первому из них ЭОР создают коллективы разработчиков отечественных и зарубежных фирм, компаний, включающие специалистов в предметных областях. Мотивом фирм и компаний к разработке ЭОР является получение коммерческой прибыли. Созданные ими ЭОР, обладая достаточными технологическими характеристиками, страдают отсутствием грамотных методических решений, что не всегда удовлетворяет практикующих педагогов в виду: отсутствия комфортного интерактивного взаимодействия между участниками процесса обучения; недостаточного использования технологий мультимедиа, гипертекста, гипермедиа для предоставления учебно-методических материалов студентам; недостаточной регламентации самостоятельной работы студентов; отсутствия возможности проведения поэтапного автоматизированного контроля знаний и умений студентов.
Согласно второму направлению авторские ЭОР разрабатывают преподаватели для использования их при реализации собственных методик преподавания. ЭОР, реализующие авторские методики, обладают качественными методическими решениями, основанными на личном педагогическом опыте преподавателя-разработчика ЭОР. Однако, они имеют довольно невысокие технологические характеристики, что подтверждается анализом результатов на соответствие этих ЭОР международным стандартам качества, техническим условиям, отраслевым стандартам и пр. Разработка ЭОР по собственным методикам осуществляется педагогами исключительно на инициативной основе и носит стихийный характер.
Оба эти направления ориентированы на разработку ЭОР, корректировать которые либо очень сложно, либо практически невозможно, что не позволяет оперативно отражать в них изменения, происходящие в законодательной базе экономики, обществе, бизнесе, технике и технологиях. Разработка ЭОР в условиях вышеназванных направлений не позволяют обеспечить постоянное обновление и создание новых ЭОР адекватно происходящим изменениям. В этой связи необходимо создание ЭОР, в которых отражаются изменения, происходящие в законодательной базе экономики, в бизнесе, в технической и технологической базе многих производств, т.к. именно такие ЭОР наиболее востребованы в настоящее время.
В рамках настоящего исследования предлагается развитие третьего направления - разработка ЭОР студентами, владеющими навыками программирования под руководством опытных преподавателей, методистов и преподавателей-предметников.
Таким образом, разработка ЭОР, в состав которых входят: электронные учебные пособия, электронные учебно-методические комплексы по дисциплине, обучающие программные средства, программные средства (системы) - тренажеры, контролирующие программные средства, информационно-поисковые, информационно-справочные программные средства, имитационные программные средства (системы), моделирующие программные средства, автоматизированные рабочие места, демонстрационные программные средства, учебно-игровые программные средства и пр. для направлений подготовки экономического университета, непрофильных по отношению к информатике, является вполне
посильной задачей для бакалавров, обучающихся по направлению подготовки «Математическое обеспечение и администрирование информационных систем».
В связи с этим приобретает особую актуальность контроль уровня сформированности компетенций бакалавров в области разработки ЭОР.
Теоретическая часть исследования
Под междисциплинарным проектированием электронных образовательных ресурсов будем понимать деятельность студентов, обучающихся по направлению подготовки «Математическое обеспечение и администрирование информационных систем», под руководством преподавателей и методистов, а также преподавателей-предметников, включающую следующую последовательность действий: разработка алгоритма, реализующего содержательную составляющую контента ЭОР; разработка алгоритма, реализующего технологическую составляющую интерфейса ЭОР; разработка кода прикладной программы ЭОР; отладка кода ЭОР; опытная апробация ЭОР в учебном процессе; корректировка ЭОР по результатам апробации; внедрение ЭОР в учебный процесс; сопровождение ЭОР в течение учебного года; оформление результатов.
Как отмечается в современных исследованиях [11 - 16] междисциплинарная интеграция в профессиональном образовании связана с коренной перестройкой всего процесса обучения на основе построения модели инновационного учебного заведения и с внедрением современных подходов и методик. При этом вычислительные методы, используемые в различных областях, требуют применения современных программных средств. Это стимулирует развитие тесного взаимодействия между представителями разных дисциплин и специалистами ИТ-сферы в рамках междисциплинарного проектирования (Interdisciplinary Project Based Learning - IPBL).
На основе анализа исследований по уровням усвоения учебного материала [17 - 19] для оценки компетентности студентов в области разработки ЭОР был использован уровневый подход, предполагающий наличие четырех уровней: репродуктивного (низкого), адаптивного (среднего), эвристического (базового) и творческого (высокого).
На низком уровне студент различает, распознает объекты познания при повторном восприятии ранее изученного материала, выполняет действия с ними, но «с подсказкой», пересказывает и копирует учебную информацию. На среднем уровне студент самостоятельно воспроизводит и применяет информацию в ранее рассмотренных типовых ситуациях. На базовом уровне студент использует приобретенные знания и умения в нетипичных ситуациях, получает новые знания путем действия по образцу. На высоком уровне студент действует в непредвиденных ситуациях и создает новые алгоритмы, правила, действия, то есть субъективно новую информацию.
В соответствии с компетентностным подходом в образовании [8, 20 - 23], предполагающем выявление теоретических и практических аспектов учебного процесса на основе формирования совокупности знаний, умений и опыта различных видов деятельности, студент должен быть в состоянии продемонстрировать свои умения на практике. На основе указанных выше исследований оценить уровень компетентности, достигнутый студентами в области разработки ЭОР, можно, используя раздельную оценку уровней их знаний и умений в области теоретических основ разработки ЭОР и уровней опыта применения этих знаний и умений при решении практических задач, связанных с разработкой ЭОР. При этом к оценке знаний и умений, а также опыта был применён уровневый подход (низкий, средний, базовый и высокий).
На основе анализа работ [8, 22, 24] уровень знаний и умений в области разработки ЭОР оценивался по результатам педагогического тестирования. Оценка уровня сформированности опыта реализации способов деятельности по созданию ЭОР производилась по результатам защиты ЭОР методом экспертного оценивания.
Практическая часть
Подготовка студентов к разработке ЭОР осуществлялась в рамках вариативного курса «Основы междисциплинарного проектирования ЭОР», общая трудоемкость которого составляет 4 зачетных единицы, 144 часа (из них лекций - 74, практических занятий - 32, самостоятельная работа - 38 часов). В рамках вариативного курса изучаются вопросы, не входящих ни в базовый, ни в профессиональный блоки ФГОС ВО, такие, как: методология междисциплинарного проектирования: цель, методы, принципы, средства, требования к средствам информатизации образования, понятие информационно-образовательной среды организации, технические средства и технологии информатизации образования, типизация педагогической продукции, функционирующей на базе ИКТ, технология разработки контролирующих программных средств, учебного тренажера, учебно-методического комплекса дисциплины, требования к методическим указаниям для сопровождения ЭОР в учебном процессе, к педагогико-эргономическому качеству ЭОР, к оформлению междисциплинарного проекта и т.п. Изучение вариативного курса завершалось защитой ЭОР, разработанного в рамках междисциплинарного проектирования.
В рамках исследования был проведен педагогический эксперимент на базе департамента менеджмента и информатики ФГБОУ ВПО «Уральский государственный экономический университет» в течение 2010/2011, 2011/2012, 2012/2013 и 2013/2014 учебных годов, в котором приняло участие 98 студентов. Главным требованием к участникам эксперимента по оценке уровней сформированности знаний и умений студентов в области «Основ междисциплинарного проектирования ЭОР» должен быть достаточный уровень начальных знаний в области алгоритмизации и программирования на языках высокого уровня, который оценивался по результатам входного диагностического теста. В рамках эксперимента была разработана электронная версия теста.
К участию в эксперименте допускались студенты, правильно ответившие на не менее 70% вопросов входного диагностического теста по алгоритмизации и программированию согласно [17]. В случае, если студент не получил необходимый проходной балл, его уровень начальных знаний в области алгоритмизации и программирования был недостаточен для освоения вариативного курса «Основы междисциплинарного проектирования ЭОР» и компьютер выдавал сообщение студенту о том, что он к участию в эксперименте не допускается.
Входной электронный диагностический тест содержал 50 вопросов по пройденным студентами курсам, входящим в базовый и профессиональный блоки ФГОС ВО: «Основы алгоритмизации» (10 вопросов), «Пользовательский курс информатики»(15 вопросов), «Структуры и алгоритмы компьютерной обработки данных» (10 вопросов), «Объектно-ориентированное программирование» (15 вопросов). Тестовые задания предъявлялись студентам случайным образом. Компьютер оценивал результаты выполнения тестового задания по дихотомической шкале: 1 - ответ правильный, 0 - ответ неправильный. Таким образом, максимально возможная оценка за все вопросы теста, на которые получены правильные ответы, составляет 50 баллов.
Согласно исследованиям [17, 19] был определен средний уровень начальных знаний и умений студентов в области алгоритмизации и программирования,
необходимый для освоения вариативного курса «Основы междисциплинарного проектирования ЭОР»: от 70% до 100% от максимального количества баллов, полученных за диагностический тест (от 35 до 50 баллов), и низкий уровень, недостаточный для освоения вариативного курса «Основы междисциплинарного проектирования ЭОР», при количестве баллов менее 70% от максимального (от 0 до 34 баллов).
Результаты выполнения входного диагностического теста по основам алгоритмизации и программированию показали, что результаты троих студентов оказались меньше 34 баллов, что говорит о том, что они не обладают необходимым уровнем начальных знаний и умений в области алгоритмизации и программирования и их знаний будет недостаточно для освоения вариативного курса «Основы междисциплинарного проектирования ЭОР». Они были не допущены к участию в эксперименте.
В 2010/2011, 2011/2012, 2012/2013 и 2013/2014 учебных годах проводилось обучение студентов МО и АИС по программе вариативного курса «Основы междисциплинарного проектирования ЭОР», которое завершалось итоговым педагогическим тестированием знаний и умений области разработки ЭОР. Для этой цели был разработан электронный педагогический тест, который содержал 60 тестовых заданий, охватывающих все учебные модули вариативного курса «Основы междисциплинарного проектирования ЭОР». Тестовые задания были проверены на соответствие задачам обучения и глубину знаний, а также на однородность и валидность. Результат выполнения каждого тестового задания оценивался по дихотомической шкале измерения (1 - правильное выполнения тестового задания, 0 -неправильное) [8, 22]. Суммы возможных значений дихотомических переменных, полученные студентами по результатам тестирования, измерялись по 60-бальной шкале, которая, согласно [17], была разбита на четыре непересекающихся интервала: [0; 42], [43; 48], [49; 54], [55; 60], каждый из которых отвечал соответственно низкому, среднему, базовому и высокому уровням знаний и умений основных теоретических положений в области разработки ЭОР. Тестовые задания из разработанной базы заданий предъявлялись студентам по мере возрастания их сложности, а в рамках одного уровня задания генерировались случайным образом.
Процесс обучения завершался разработкой ЭОР в рамках междисциплинарного проектирования, тематика которых определялась нуждами кафедр-заказчиков экономического университета, и защитой разработанных в рамках МДП ЭОР.
В комиссию по защите междисциплинарных проектов входили 2 представителя кафедры-заказчика (ведущий преподаватель-предметник и методист) и 2 представителя кафедры-исполнителя (руководитель междисциплинарного проекта и специалист в области программирования), на которой осваивается будущими бакалаврами основная образовательная программа «Математическое обеспечение и администрирование информационных систем».
Оценка студенческого проекта осуществлялась методом экспертного оценивания по результатам защиты созданных студентами ЭОР по дихотомической шкале. Наличие соответствующего опыта оценивалось 1 баллом, отсутствие опыта -0 баллов. Результаты выполнения проекта оценивались по 8-бальной шкале, которая была разбита на четыре части: [0; 2], [3; 4], [5; 6], [7; 8], соответствующие низкому, среднему, базовому и высокому уровням сформированности опыта применения полученных знаний и умений в области разработки студентами ЭОР.
Процесс освоения вариативного курса завершался разработкой ЭОР в рамках междисциплинарного проектирования, тематика которых определялась нуждами кафедр-заказчиков экономического университета, итоговым педагогическим тестированием знаний и умений по основам междисциплинарного проектирования и защитой разработанных в рамках МДП ЭОР.
В результате применения технологии междисциплинарного проектирования в период с 2010 по 2014 год студентами МО и АИС по заказам кафедр и других подразделений экономического университета было разработано 98 проектов разной степени сложности, на значительную часть которых были получены Свидетельства о государственно регистрации в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (г. Москва).
В качестве примера приведем краткое описание проекта автоматизированной обучающей системы по аналитической химии, которая используется при обучении бакалавров, осваивающих образовательную программу «Товароведение и экспертиза товаров». Формирование опыта проведения качественной экспертизы продовольственных товаров является одной из главных задач подготовки бакалавров этого профиля. Основной учебной дисциплиной, знание которой позволяет формировать опыт проведения экспертизы, является аналитическая химия. Химия -сложный предмет, изучение которого вызывает определенные трудности у студентов нехимических профилей подготовки. Особенно это проявляется при выполнении лабораторных и самостоятельных работ.
В рамках научного сотрудничества кафедры физики и химии и кафедры статистики, эконометрики и информатики экономического университета была разработана автоматизированная обучающая система (АОС), состоящая из программных модулей, обеспечивающих теоретическое и практическое освоение основных разделов аналитической химии.
В состав АОС входит 9 учебных модулей по различным методам химии. В методические рекомендации входят инструкции по использованию того или иного модуля системы. Для каждого учебного модуля разработан контролирующий блок, включающий комплекс тестовых заданий по изученному материалу. Каждый учебный модуль имеет в свой структуре обучающий блок, блок справочной информации, контролирующий блок.
При разработке АОС были учтены следующие требования к её функциональным характеристикам: наличие удобного, интуитивно понятного диалогового пользовательского интерфейса; хранение данных каждого модуля в отдельном PDF-файле; обеспечение интерфейса новой системы тренинга в формате PNG.
АОС обеспечена инструктивно-методическими материалами для пользователя, в состав которой входит аннотация к каждому учебному модулю и инструкция по работе с модулем.
Процесс проектирования АОС состоял из следующих этапов: разработка структуры обучающей системы в рамках утвержденного технического задания; разработка пользовательского интерфейса; разработка программного кода; отладка программного кода системы; внедрение АОС в учебный процесс; обучение по работе с АОС; составление справочников; разработка учебно-методической документации.
На рисунке 1 представлена структура АОС по аналитической химии.
Аналитическая
химия (нейтрализация )
+
Физико-химические
методы анализа (кондуктометрия и потенциометр ия)
"рН-кнслота"
Свидетельство для ЭВМ № 2012617071 от07.08.2012 (пр ил о жение А)
" Эк спр есс- Анализ" Свидетельство для ЭВМ № 2013618994 от24.09.2013 (приложение Г)
"Авто-Анализ"
Свидетельство для ЭВМ № 2012617072 от07.08.2012 (пр ил ожени е Ж)
'' 1п (Цен! пар а''
Свидетельство для ЭВМ № 2013612011 отИ.02.2013 (приложение Б)
'' Стат- О б р азец "
Свидетельство для ЭВМ № 2012618083 отОб.09.2012 (приложение Д)
"К основания"
Свидетельство для ЭВМ № 2012617070 ОТ07.08.2012 (пр ил о жение И)
"Alky Soda"
Свидетельство для ЭВМ № 2013610567 OT09.01.2013 (пр ил о жение В)
'' Стат- Тр енаж ер''
Свидетельство для ЭВМ № 2013613445 OT04.04.2012 (пр ил ожение Е)
"КТТ-Анализ" (в ФИПС, г.Москва, на р а с см о трении)
Рис. 1. Структура АОС для изучения аналитической химии
На рисунке 2 представлена структурная блок-схема АОС.
Рис. 2. Структурная блок-схема управляющего модуля автоматизированной обучающей системы по аналитической химии
Программное обеспечение, необходимое для функционирования программы: операционная среда Windows XP/7; язык программирования - Object Pascal (Borland Delphi).
Разработанная АОС для изучения аналитической химии предназначена для индивидуального обучения, как в домашних условиях для освоения теоретических и практических знаний по курсу химии, так и для организации лабораторных работ в рамках учебного процесса.
АОС была апробирована в учебном процессе экономического университета. В апробации участвовали 2 группы студентов департамента торговли, питания и сервиса. Для апробации были сформированы контрольная группа (27 студентов) и экспериментальная группа (24 студента). Для проверки однородности групп по уровню начальных знаний по химии было проведено входное диагностическое тестирование, результаты которого показали, что группы однородны. Далее проводилось обучение студентов по аналитической химии. В контрольной группе обучение проводилось по традиционной методике, в экспериментальной - в условиях использования АОС. По завершению изучения аналитической химии было проведено итоговое тестирование обучающихся по направлению подготовки «Товароведение и экспертиза товаров», результаты которого показали, что общее количество студентов экспериментальной группы, освоивших аналитическую химию с использованием АОС на «хорошо» и «отлично» составляет 74%, что превышает аналогичные показатели для контрольной группы.
Применение АОС для изучения аналитической химии способствует развитию познавательных навыков студентов, формированию умений самостоятельно конструировать свои знания, умений ориентироваться в информационном пространстве, развитию критического и творческого мышления. АОС стимулирует интерес студентов к учебным проблемам, предполагающим владение определенной суммой знаний и умение практически применять полученные знания, способствует развитию рефлексивного мышления.
Результаты итогового тестирования показали повышение результатов обучения в условиях изучения аналитической химии с применением АОС. Приобретенный практический опыт формирует у студентов направления подготовки «Товароведение и экспертиза товаров» навыки проведения качественной экспертизы товаров.
Разработанная АОС, автоматизирующая оригинальные способы идентификации пищевых продуктов - натуральных соков и гидрокарбонатных (карбонатных) минеральных вод методами кислотно-основного, кондуктометрического и потенциометрического титрования, позволяет исключить рутинную работу, связанную с расчетами и оформлением графического материала, облегчает и ускоряет время проведения анализа, снижает риск ошибки на этапе расчетов, визуализирует итоговые результаты. Использование АОС заканчивается тестовым контролем знаний студентов по выполненной работе и используемому методу анализа.
В результате внедрения АОС в учебный процесс вуза достигнуты следующие показатели: улучшилось качество знаний студентов; активизировалась интеллектуальная деятельность; расширилась информационно-образовательная среда вуза; осуществляется подготовка специалистов, адаптированных к современному информационному пространству; время выполнения химического анализа сократилось в 2 раза; увеличилась продуктивность и эффективность лабораторного практикума; повысилось качество знаний и практического опыта будущих бакалавров в области проведения качественной экспертизы продовольственных товаров.
На все учебные модули, входящие в разработанную АОС, получены свидетельства о государственной регистрации программ для ЭВМ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (г.Москва).
Статистическая обработка результатов эксперимента.
Статистическая обработка результатов эксперимента проводилась с использованием критерия согласия Пирсона х2 (хи-квадрат).
Данный критерий применяется для сравнения распределений объектов нескольких совокупностей по состоянию некоторого свойства на основе измерений по шкале наименований этого свойства в нескольких независимых выборках из рассматриваемой совокупности [25, 26]. Суть метода заключается в проверке степени расхождения наблюдаемых и ожидаемых частот - чем больше данное расхождение, тем больше значение критерия хи-квадрат.
Алгоритм применения критерия согласия Пирсона хи-квадрат состоит в следующем.
Шаг 1. Формулируют нулевую статистическую гипотезу Н0.
Шаг 2. Задают уровень значимости гипотезы, который определяет вероятность совершить ошибку первого рода, то есть принять гипотезу Н0 в качестве правдоподобной, в то время, как она таковой не является. В педагогических исследованиях, как правило, уровень значимости выбирают 0,05. Тогда, если отклоняется нулевая статистическая гипотеза, то вероятность совершить ошибку первого рода составляет 5%, а вероятность сделать правильное заключение соответственно 95%.
Шаг 3. Определяют число степеней свободы по формуле ЧСС=к-2, где к -число интервалов разбиения элементов выборочной совокупности. В нашем случае к - число непересекающихся интервалов, на которые разбита 60-бальная шкала измерения согласно В.П. Беспалько [17], каждый из которых отвечает соответственно низкому, среднему, базовому и высокому уровням знаний и умений основных теоретических положений в области разработки ЭОР, т.е. к=4, тогда число степеней свободы ЧСС = 2.
Шаг 4. Вычисляют значение критерия хи-квадрат по формуле:
хвыч. П '
С к I п2
ТТ—-1
V м 1=1П • П1 J
где п - общий объем выборки (п=98);
к - число уровней сформированности знаний и умений по результатам итогового тестирования (к=4);
I - количество групп (1=4);
г - номер группы (1=1,2,3,4);
1 - номер уровня (|=1,2,3,4);
п1 - число студентов, достигших г-го уровня сформированное™ знаний и умений;
П - число студентов, достигших 1-го уровня сформированности знаний и умений;
Пу - число студентов г-й группы, достигших 1-го уровня сформированности знаний и умений.
Шаг 5. Вычисленное значение критерия сравнивают с его табличным значением.
Шаг 6. Формулируют вывод о том, что если вычисленное значение критерия хи-квадрат меньше табличного, то нулевую статистическую гипотезу принимают как правдоподобную. В противном случае она отвергается и принимается альтернативная ей гипотеза.
Первый этап статистической обработки результатов педагогического эксперимента.
Основываясь на том, что в эксперименте участвовали студенты, успешно справившиеся с входным диагностическим тестом, была выдвинута нулевая статистическая гипотеза Н0 о том, что все четыре группы по результатам итогового педагогического тестирования по курсу «Основы междисциплинарного проектирования ЭОР» являются однородными, которая проверялась по критерию согласия Пирсона хи-квадрат при доверительной вероятности 0,95.
Итоговый педагогический тест по курсу «Основы междисциплинарного проектирования ЭОР» состоял из 60 вопросов, полностью покрывающих все темы курса. Для расчета критерия хи-квадрат была составлена таблица 1, в которой содержатся результаты итогового педагогического тестирования.
2
По данным таблицы 1 было вычислено значение критерия % :
X2 выч. = 98 • (3 х 3 / 21/8 + 2 х2 /23 /8+ 2 х 2 /29/8 + 1 х1 /25/8 + + 4 х 4 / 21/14 + 3 х 3 /23 /14 + 4 х 4 /29 / 14 + 3 х 3 /25/14 + + 6 х 6 /21 / 3 + 8 х8 /23 / 33 + 10 х10/29/33 + 9 х 9 /25/33 + + 8 х 8 /21/43 + 10 х 10 /23 /43 + 13 х 13 /29 /43 + 12 х 12 /25/43 - 1) = 3,53
Таблица 1
Результаты итогового педагогического тестирования студентов групп 1, 2, 3 и 4 по «Основам междисциплинарного проектирования ЭОР»
Результат итогового педагогического Тестирования
Уровень в баллах Группа 1 Группа 2 Группа 3 Группа 4 Всего по уровню
Низкий 0^ 42 3 2 2 1 8
Средний 43^ 48 4 3 4 3 14
Базовый 49^ 54 6 8 10 9 33
Высокий 55^60 8 10 13 12 43
Всего студентов 21 23 29 25 98
Табличное значение критерия хи-квадрат при 2 степенях свободы на уровне значимости 0,05 составляет 5,99.
Вычисленное значение критерия Пирсона составило 3,53. Поскольку вычисленное значение критерия хи-квадрат меньше табличного, то гипотезу Н0 можно принять в качестве правдоподобной и объединить данные четырех выборок по результатам итогового тестирования в одну. Анализ данных объединенной выборки показал, что из 98 студентов 43 человека освоили вариативный курс на высоком уровне, 33 студента - на базовом уровне, 14 студентов - на среднем уровне, 8 студентов - на низком уровне. На рисунке 3 представлена диаграмма уровней сформированное™ знаний и умений студентов в области разработки ЭОР.
ф
□ высокий
□ базовый
□ средний
□ низкий
Рис. 3. Уровни сформированности у студентов знаний и умений в области
разработки ЭОР
Полученные результаты позволяют констатировать, что знания и умения большинства студентов (76 человек) экспериментальной группы после усвоения вариативного курса «Основы междисциплинарного проектирования» соответствуют высокому и базовому уровню (78%).
Второй этап статистической обработки результатов педагогического эксперимента.
Оценка наличия у студента опыта реализации способов деятельности по созданию ЭОР осуществлялась методом экспертного оценивания по результатам защиты самостоятельно созданных студентами ЭОР. Экзаменационная комиссия, заслушав доклад студента с демонстрацией ЭОР и ответы на вопросы, оценивала приобретенный опыт по следующим составляющим:
- разработан алгоритм сценария ЭОР, представлен его код и проведена отладка в соответствии с техническим заданием; при этом использованы стандартные алгоритмы и стандартное математическое и программное обеспечение, оценивалось интервалом [0,2], что соответствовало репродуктивному (низкому) уровню;
- разработан алгоритм, реализующий технологическую составляющую интерфейса ЭОР, закодирован, отлажен; применены оригинальные алгоритмы; ЭОР соответствует педагогико-эргономическим требованиям, предъявляемым к ЭОР, оценивалось интервалом [3,4], что соответствует адаптивному (среднему) уровню;
- подготовлены инструкции пользователя для сопровождения ЭОР в учебном процессе; проведено сопровождение ЭОР с учетом требований кафедры-заказчика в течение учебного года; разработанный ЭОР соответствует дизайн-эргономическим и технико-технологическим требованиям качества ЭОР, оценивалось интервалом [5,6], что соответствует эвристическому (базовому) уровню;
- разработана методическая документация для сопровождения ЭОР в учебном процессе в информационно-образовательной среде (ИОС) вуза, представлены свидетельства, подтверждающие факт использовании ЭОР в учебном процессе в ИОС вуза; представлены свидетельства об оформлении результатов междисциплинарного проектирования (подготовлена презентация на научной студенческой конференции, опубликована научная статья, получено свидетельство о государственной регистрации программы для ЭВМ, подготовлен доклад для выступления на научной конференции, имеется сертификат об участии в конкурсе,
подготовлен творческий отчет и т.п.), представлены разработанные методические материалы для проведения обучающего семинара для преподавателей кафедры-заказчика, оценивалось интервалом [7,8], что соответствует творческому (высокому) уровню.
В таблице 2 представлены результаты защиты междисциплинарного проекта в группах 1, 2, 3 и 4.
Таблица 2
Результаты защиты междисциплинарных проектов студентов в группах 1, 2, 3 и 4
Результат защиты ЭОР
Уровень Группа 1 Группа 2 Группа 3 Группа 4 Всего по уровню
[0,2] низкий 0 0 1 1 1 3
2 1 1 2 1 5
[3,4] средний 3 1 2 2 2 7
4 2 4 3 1 10
[5,6] базовый 5 6 5 5 5 21
6 7 6 6 5 24
[7,8] высокий 7 2 2 7 6 17
8 2 2 3 4 11
Всего студентов 21 23 29 25 98
Основываясь на результатах проверки статистической гипотезы Н0, была выдвинута нулевая статистическая гипотеза Н0 о том, что по результатам защиты междисциплинарного проекта четыре экспериментальные группы однородны. Для проверки её правдоподобности была вычислена статистика критерия хи-квадрат по результатам защиты проектов, представленным в таблице 2. Поскольку каждый уровень оценки опыта представляет собой интервал, то для повышения точности расчета критерия Пирсона внутри каждого интервала были выделены подуровни, соответствующие нижней и верхней границе интервала, таким образом, у нас получилось 8 уровней сформированности опыта в разработке ЭОР. Тогда число степеней свободы для данного случая будет составлять ЧСС=8-2=6.
X2 = 98 ( 1*1/23/3 + 1*1/29/3 + 1*1/25/3++ 1*1/21/5+ 1*1/23/5 +2*2/29/5 +
1*1/25/5 ++ 1*1/21/7 + 2*2/23/7+2*2/29/7+2*2/25/7 + + 2*2/21/10 + 4*4/23/10+
+ 3*3/29/10 + 1*1/25/10++ 6*6/21/21+5*5/23/21+5*5/29/21 + 5*5/25/21 +
+ 7*7/21/24 +6*6/23/24+6*6/29/24+5*5/25/24+2*2/21/17++2*2/23/17+
7*7/29/17+6* 6/25/17++2*2/21/11+2*2/23/11+3*3/29/11+4*4/25/11- 1) = 9,2
Вычисленное значение критерия хи-квадрат составило 9,2. Табличное значение критерия при шести степенях свободы равно 12,6. Вычисленное значение критерия Пирсона меньше табличного, что позволяет принять гипотезу Н0 в качестве правдоподобной и объединить данные четырех выборок по результатам защиты междисциплинарных проектов в одну. Её анализ показал, что из 98 студентов 28 человек защитили междисциплинарный проект на высоком уровне, 45 человек - на базовом, 17 студентов - на среднем уровне и 8 студентов защитили проект на низком уровне. На рисунке 4 представлены результаты защиты ЭОР.
□ высокий
□ базовый
□ средний
□ низкий
Рис. 4. Количество студентов, защитивших ЭОР на разных уровнях
Основываясь на результатах проверки нулевых статистических гипотез Н0 и Н0 , была составлена поименная выборка студентов четырех экспериментальных групп, включающая в себя данные о результатах их итогового педагогического тестирования по вариативному курсу «Основы междисциплинарного проектирования ЭОР » и их защиты, выполненных в рамках междисциплинарного проектирования.
Анализ поименной выборки показал, что из 98 студентов, участвовавших в эксперименте, 48 студентов достигли базового и 18 студентов - высокого уровня сформированности компетентности в области разработки ЭОР, что в сумме составляет 67% и составляет большинство. На рисунке 5 представлены уровни сформированности у студентов компетенций в области разработки ЭОР.
^^ \ □ высокий □ базовый
\ □ ср. + низ.
Рис. 5. Уровни сформированности компетенций в области разработки
ЭОР
Анализ и оценка результатов исследования
Статистическая обработка результатов эксперимента с использованием критерия согласия Пирсона [25, 26] позволила сделать следующие выводы:
1) из 98 студентов 43 человека освоили вариативный курс по «Основам междисциплинарного проектирования ЭОР» на высоком уровне, 33 студента - на базовом уровне, 14 студентов - на среднем уровне, 8 студентов освоили курс по выбору на низком уровне. Полученные результаты позволяют констатировать, что знания и умения большинства студентов (76 человек) экспериментальной группы после усвоения вариативного курса «Основы междисциплинарного проектирования» соответствуют высокому и базовому уровню;
2) из 98 студентов 28 человек защитили междисциплинарный проект на высоком уровне, 45 человек - на базовом уровне, 17 студентов - на среднем уровне и 8 студентов - на низком уровне;
3) анализ поименной выборки студентов, включающей в себя данные о результатах их итогового педагогического тестирования и защиты ЭОР, показал, что из 98 студентов, участвовавших в эксперименте 48 студентов достигли базового и 18 студентов - высокого уровня сформированности компетентности в области разработки ЭОР. Таким образом, 67% студентов в результате освоения вариативного курса «Основы междисциплинарного проектирования ЭОР» достигли высокого и базового уровней сформированности компетентности в области разработки ЭОР, что составляет большинство.
Заключение
Описана методика, применяемая при подготовке студентов, имеющих соответствующий образовательный потенциал и позволяющий им в рамках междисциплинарного проектирования заниматься разработкой ЭОР, что создаёт условия для формирования профессиональной компетентности будущих бакалавров в области разработки ЭОР.
Подробно описаны этапы педагогического эксперимента, результаты которого убедительно доказывают, что применение предлагаемой методики позволяет достичь большинству студентов высокого и базового уровней сформированности компетентности в области разработки ЭОР.
Описанная методика формирования у будущих бакалавров, обучающихся по направлению подготовки «Математическое обеспечение и администрирование информационных систем», знаний и умений в области основ междисциплинарного проектирования и опыта применения полученных знаний и умений при решении практических задач, связанных с разработкой ЭОР для предметных областей, не профильных по отношению к информатике, способствует расширению сферы информационного обеспечения учебной деятельности университета.
Литература
1. Федеральный Государственный образовательный стандарт высшего образования бакалавра по направлению подготовки «Математическое обеспечение и администрирование информационных систем». URL: http://www.fgosvpo.ru/uploadfiles/28/20110315203310.pdf
2. Роберт И. В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). - М.: ИИО РАО, 2008.
3. Роберт И. В. Философско-методологические, социально-психологические, педагогические и технико-технологические предпосылки развития информатизации отечественного образования. - М.: ИИО РАО, 2008.
4. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования. - М.: ИИО РАО, Школа-Пресс, 1994.
5. Роберт И.В. Теоретические основы создания и использования средств информатизации образования: Автореф. дисс. докт. пед. наук. - М., 1995.
6. Ваграменко Я.А. О направлениях информатизации российского образования // Системы и средства информатики. - Вып.8. - М.: Наука. Физматлит, 1996.
7. Информатизация образования-2003: науч. тр. и материалы АИО РАО / под ред. Я. А. Ваграменко. Волгоград: Перемена, 2003.
8. Насс О.В. Теоретико-методические основания формирования компетентности преподавателей в области создания электронных образовательных ресурсов: Автореф. дис. докт. пед. наук. - М., 2013.
9. Козлов О.А. Подготовка кадров информатизации образования в системе высшего и среднего профессионального образования. - Вып.13. - М.: Ученые записки ИИО РАО, 2004.
10. Мартиросян Л.П. Теоретико-методические основы информатизации математического образования: Автореф. дис. докт.пед. наук. - М., 2010.
11. Bortnik B.I. & Stozhko N.Y. Designing Innovative Process for Teaching Natural Sciences in Economic Universities // Review of the Ural State University of Economics. - 2013. - Vol. 49, No. 5. - РР. 113-118. URL: http://izvestia.usue.ru/ download/49/16.pdf
12. Chu H.-C., Hwang G.-J., Tsai C.-C. A knowledge engineering approach to developing mind tools for context-aware ubiquitous learning // Computers and Education. - 2010. - Vol. 54, No. 1. - РР. 289-297. DOI: 10.1016/j.compedu.2009. 08.23
13. Gendjova A. & Yordanova B. Project-Based Learning in Science at the American College of Sofia // Chemistry. - 2009. - Vol.18, No. 4. - РР.. 255-267. ISSN: 08619255
14. Mironova L.I. Electronic training complex discipline as a means of improving students' cognitive activity of the university // Siberian pedagogical journal. - 2009. -Vol. 2. - РР 118-124. URL: http://elibrary.ru/item.asp?id=13103827
15. Sampson D.G., Ifenthaler D., Isaias P., Spector J.M. Editorial: Digital systems supporting cognition and exploratory learning in 21st century // Knowledge Management and E-Learning. - 2014. - Vol. 6, No. 2. - РР. 98-102. ISSN: 20737904
16. Starichenko B.E. Conceptual basics of computer didactics. - Yelm, WA, USA, 2013. - 183 p. ISBN: 978-1-62174-029-2
17. Беспалько В.П. Опыт разработки критерия качества усвоения знаний учащимися. Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении. - М.: Изд. псих-го соц. ин-та, 1969.
18. Симонов В.П. Диагностика степени обученности учащихся. - М.:МПА, 1999.
19. Bloom, B.S., Engelhart, M.D., Furst, E.J., Hill, W.H., & Krathwohl, D.R. (Eds.). Taxonomy of Educational Objectives. - The Classification of Educational Goals. -Handbook 1: Cognitive Domain. - London WI: Longmans, Green & Co. Ltd., 1956.
20. Вербицкий А.А. Компетентностный подход и теория контекстного обучения // Материалы к четвертому заседанию методологического семинара 16 ноября 2004г., Москва, 2004.
21. Зимняя И.А. Ключевые компетентности - новая парадигма результатов образования // Высшее образование сегодня. - 2003. - №5.
22. Лапёнок М.В. Научно-педагогические основания создания и использования электронных образовательных ресурсов информационной среды дистанционного обучения: Автореф. дис. докт. пед. наук. - М., 2014.
23. Татур Ю. Г. Труды методологического семинара «Россия в Болонском процессе: проблемы, задачи, перпективы. - М., 2004.
24. Гужвенко Е.И. Координирующая модель методической системы обучения информатике и информационным технологиям: Автореф. дис. докт. пед. наук. -М., 2010.
25. Сердюков В.И. Сравнительная оценка результатов компьютерного тестирования знаний студентов вузов. - М.: Ученые записки ИИО РАО. - 2007. - № 24.
26. Стариченко Б.Е. Обработка и представление данных педагогических исследований с помощью компьютера . - Екатеринбург: Урал. Гос. пед. ун-т, 2004.
