CC BY
28
вития может быть произведено различными методами.
Таким образом, используя результаты тестирования, возможно получение прогнозной информации об обучаемости учащегося, что позволяет оптимизировать процесс формирования групп (потоков) для изучения тех или иных предметов, выбор преподавателя и педагогической технологии.
Педагог стремится опереться на реальные возможности учащихся к обучению, которые Н.А. Менчинская, З.И.Калмыкова еще в 70-е годы назвали «обучаемостью» [5] -«способность к усвоению нового материала, характеризуемая быстротой и качеством формирования новых знаний, умений, навыков», Л.В.Занков, Д.Б. Эльконин, В.В. Давыдов, З.И. Калмыкова показали, что обучаемость предопределяет разный темп продвижения учащихся в овладении учебным материалом. В настоящее время дифференциация обучения - это дидактический принцип, используемый для оптимизации процесса обучения путем учета индивидуальных особенностей учащихся. При этом используется различные методы дифференциации процесса обучения.
В ТТИ ЮФУ (ТРТУ) на базе результатов тестирования с использованием трехпа-раметрической модели [2] определялись ИХФУ, структура знаний и исходная обучаемость будущих студентов по различным предметам. Это позволило на научный основе формировать потоки учащихся из различных групп при изучении тех или иных курсов и осуществлять подбор преподавателей. Оптимизация выбора организационных форм и методов обучения осуществлялась с помощью специальной автоматизированной системы [1].
В процессе обучения проводился контроль (диагностика) процесса обучения с целью получения информации о динамике обучаемости и текущем уровне подготовленности студентов с помощью специальных тестов и расчета на базе трехпараметри-ческой модели. Тесты содержат задания трех уровней сложности, причем задания распределены в тесте по определенному закону, что позволяет повысить точность процесса тестирования [2].
Распределение по группам, с учетом исходной обучаемости, позволило повысить уровень знаний и успеваемости с 60 до 80%.
Литература
1. Глушенко А.А., Иванцов В.В., Клово А.Г., Радомская М.В. Измерение и оценка качества образования. - М.: Изд-во «МПА-Пресс», 2003. - 237 с.
2. Клопченко В.С. Методология и теория прогнозирования в образовании. -Ч. II. - М.: Изд-во «МПА-ПРЕСС», 2006. - 175 с.
3. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). -М.: ИЦКПС, 2001. -165 с.
4. Иванова А.Я. Обучаемость как принцип оценки умственного развития детей. - М.: Изд. МГУ,
1976.
5. Менчинская Н.А. Проблемы обучения, воспитания и психического развития ребенка. - М.: МО-ДЭК, 2004. - 512 с.
ИННОВАЦИОННАЯ ТЕХНОЛОГИЧЕСКАЯ СРЕДА ОЦЕНКИ КОМПЕТЕНТНОСТИ В ОБРАЗОВАНИИ
Н.В. Комлева, к.э.н., доц., зав. каф. МОиАИС Тел.: (495)442-80-98; E-mail: [email protected] С. И. Макаров, асп. каф. МОиАИС Тел.: (926)656-55-93; E-mail: [email protected] Московский государственный университет экономики, статистики и информатики
http://www.mesi.ru
The article describes a universal technological competency assessment environment belonging to the new generation of electronic testing systems. An innovative approach to competency assessment is proposed, characterized by usage of the competency model as a basis for testing, adaptivity and combination of knowledge-based and performance-based testing methods.
Введение
Повышение эффективности и качества системы образования базируется на использовании современных информационных и коммуникационных технологий. Под ИКТ компетентностью в настоящее время принято понимать умение использовать цифровые технологии, инструменты коммуникации и сетей для получения доступа к информации, управления ею, ее интеграции, оценки и создания для успешного функционирования в современном обществе. Владение информационными и цифровыми коммуникационными технологиями изменяет саму природу и значение знания и информации, позволяет использовать новые модели обучения. В то же время стоит отметить, что ИКТ знания обесцениваются крайне быстро, что связано с непрекращающимся потоком разработки нового программного обеспечения, оборудования, телекоммуникаций и цифровых ресурсов.
Процесс повышения ИКТ компетентности для каждого специалиста, желающего быть востребованным, становится непрерывным, превращается в потребность постоянно учиться и учиться всю жизнь. На современном этапе развития большинство крупных предприятий сталкивается с необходимостью увеличения эффективности производства, повышения компетентности персонала, укреп-
шШВЩолтева ЩЩШШ
тнтят, Ш лення командного
духа в организации. Этого нельзя достичь без постоянной профессиональной подготовки и переподготовки кадров. Обучение приобретает стратегическое значение, без него невозможно двигаться вперед. Современное образование идет к тому, чтобы стать социальным институтом, позволяющим человеку учиться непрерывно, постоянно повышать свой профессиональный уровень и осваивать новые профессии. «Образование через всю жизнь», в отличие от «образования на всю жизнь», рассматривает знания как умение находить в огромном объеме данных информацию, необходимую для решения конкретной задачи, и интерпретировать ее согласно своим потребностям.
По мере общественного развития от-
четливо проявляется то, что в качестве источника прибыли все чаще выступают знания, инновации и способы их практического применения. Приобретение новых знаний, информации, умений, навыков, утверждение ориентации на их обновление и развитие становятся основными компетенциями, ха-растеризующими каждого из нас. Важным фактором в этом направлении развития образования является формирование у учащихся умений учиться, прежде всего, с использованием современных и перспективных средств информационных технологий. Информационные ресурсы: базы данных и знаний, компьютерные, в том числе мультимедиа, обучающие и контролирующие системы, видео- и аудиозаписи, электронные библиотеки, - вместе с традиционными учебниками и методическими пособиями создают уникальную распределенную среду обучения, доступную широкой аудитории.
Экономика информационного общества носит ярко выраженный сетевой характер, а знания, представленные в формализованном виде, аккумулируются в национальных и мировых информационно-образовательных ресурсах. Умение извлекать знания, содержащиеся в этих ресурсах, составляет ключевую составляющую ИКТ компетентности специалиста. Для решения задачи устойчивого развития компетенций специалиста и обеспечения его высокой квалификации на протяжении всей жизни необходимо применение современных концепций, одной из которых является компетентностный подход в образовании, приобретающий все большую популярность в странах Европы и остальном мире. В основе компетентностного подхода лежит идея о смещении акцента на результат образования и выбор «компетентности» как новой категории и цели обучения на всех уровнях.
Для реализации компетентностного подхода и формирования ключевых компетенций специалиста, одной из которых является компетентность в сфере ИКТ [1], необходим постоянный мониторинг компетенций, переход от оценивания и развития знания как доминирующей характеристики к оцениванию и развитию опыта, способностей и компетенций. Однако методы мониторинга и оценки компетентности до сих пор плохо формализованы и их разработке уделено недостаточное внимание.
В современных условиях наиболее эффективными и востребованными средствами оценки являются специальные автоматизи-
рованные системы. Компьютерное тестирование прекрасно зарекомендовало себя в электронном обучении, поскольку лишено таких недостатков, как неоднородность требований, субъективность экзаменаторов и т.д. Создание автоматизированной системы оценки компетентности - это трудная задача, для решения которой требуется как использование накопленного опыта классической тестологии, так и проведение дополнительных исследований, применение новейших технологий, моделей и алгоритмов.
Традиционные системы электронного тестирования были изначально предназначены для оценки «знаний», но не «компетенций» испытуемого, а потому не могут решить новые задачи образования. Согласно современным исследованиям, высшая школа, ориентирующаяся в основном на знание-вую компоненту, с точки зрения новых запросов мира труда, устарела [2]. В европейском проекте Tuning заявлены цели, среди которых можно выделить «освоение новых процедур и критериев ¿diiu^"- оценивания» [3].
хш. Макаров JЩ Исследователи jmл подчеркивают, что
разработка новых методов оценки результатов образования оказывается как никогда важной. Возникает вопрос, каким образом оценивать не знания, а компетентность человека с помощью автоматизированных систем тестирования?
С 2005 по 2008 год коллективом авторов был проведен глубокий анализ данной проблемы и разработана универсальная технологическая среда оценки компетентности, не имеющая аналогов в России. При проектировании системы был обобщен лучший мировой опыт и проводились консультации с ведущими специалистами из сферы образования и бизнес сообщества. Предлагаемый инновационный подход основан на трех принципах:
Компетентностная модель в основе теста
Комбинированный метод оценки Адаптивность
Далее в статье приведено краткое описание перечисленных принципов оценки компетентности.
Компетентностная модель в основе теста
В отличие от большинства существующих методов тестирования предлагаемая модель оценки была разработана в соответствии с концепцией компетентностного подхода в образовании и содержит в центре тестирования не тестовые вопросы или задания, а ком-петентностную модель. Каждому тестовому заданию в базе данных поставлен в соответствие набор оцениваемых в нем компетенций, а каждый тест задается в виде компетентност-ной модели - некоторого порядка компетенций, которые требуется оценить (без привязки к последовательности или набору заданий -они будут выбраны системой автоматически). Цель применения компетентностной модели - оценка компетентности испытуемого путем смещения акцента на результат тестирования и измеряемые параметры.
Компетентностная модель может быть представлена в виде ориентированного графа, вершинами которого являются компетенции с ненормированными весовыми коэффициентами большими нуля. Тогда задача оценки компетентности с помощью автоматизированного тестирования сводится к обходу имеющихся вершин графа компетентностной модели (рис. 1 - см. цв. вставку) и получению оценок по соответствующим компетенциям.
Вершина графа «НТ» - это «начало тестирования», вершина «КТ» - «конец тестирования». Для каждой вершины-компетенции устанавливается уровень, который задает порядок оценки данной компетенции. Пока не пройдены все вершины меньшего уровня, нельзя осуществить переход к вершине большего уровня. Для каждого задания известны компетенции, которые в нем измеряются, следовательно, алгоритм процесса тестирования заключается в последовательном выборе новых заданий из множества таким образом, чтобы оптимальным образом обойти все вершины графа компе-тентностной модели. Подобный алгоритм реализован в рассматриваемой инновационной среде.
Комбинированный метод оценки
Компетентность - это комплексная характеристика, подразумевающая присутствие разнообразных знаний, умений, навыков, опыта и взаимосвязей между ними, вследствие чего можно выделить различные составляющие компетентности и различные методы их автоматизированной оценки (рис. 2 - см. цв. вставку).
Комбинированный метод оценки в предлагаемом подходе подразумевает использование двух методов тестирования: традиционного и имитационного - и позволяет оценивать не только знания, но и компетентность испытуемого, причем, как ее отдельные элементы, так и их сочетание. Рассмотрим подробнее каждый из двух методов тестирования.
Традиционное тестирование (knowledge-based test) является эффективным средством оценки знаний испытуемого, но не предназначено для оценки его опыта, практических и когнитивных навыков, а также умения решать комплексные задачи. В процессе традиционного тестирования испытуемому предлагается набор вопросов строго заданных типов, оценивающих его знания. Перемещаясь между вопросами, испытуемый выполняет задания по типичным схемам. В рассматриваемой среде реализована поддержка следующих общеизвестных типов тестовых вопросов:
1. Единичный выбор (выбор одного варианта из предложенных).
2. Множественный выбор (выбор нескольких вариантов из предложенных).
3. Сортировка (упорядочивание вариантов согласно какому-то критерию).
4. Установление соответствия (сопоставление предложенных вариантов и категорий).
5. Текстовый ввод (ответ на заданный вопрос путем ввода одной или нескольких фраз с клавиатуры).
Хранение и обработка типовых вопросов в системе тестирования осуществляются в соответствии с мировым стандартом по упаковке и хранению учебного и измерительного контента IMS [4]. Пример тестового вопроса типа «Установление соответствия» представлен на рис. 3 (см. цв. вставку).
Имитационное тестирование (Performance-based test) позволяет оценивать практические навыки испытуемого, его опыт и познавательные способности, что невозможно сделать с помощью традиционного компьютерного тестирования. Во время имитационного тестирования пользователю поочередно предлагаются симуляционные задания различной степени сложности. В процессе их выполнения отслеживается последовательность, рациональность и результат действий испытуемого. Подобный инновационный подход применяется в проектах сертификации Microsoft, ISTE [5], ETS [6] и RM QCA [7]. Отметим основные особенности
имитационного тестирования:
- Задания строятся в соответствии с трехуровневой моделью «Сценарий-Инструкция-Тест».
- Каждое задание характеризуется собственным уникальным типом, предлагает некоторую тестовую ситуацию и проверяет навыки решения определенного класса задач, возникающих в реальной жизни (например, для ИКТ компетентности - это работа с файловой системой, поиск в Интернете, работа в почтовой программе и т.д.).
- Каждое задание представляет собой программный макет, на базе которого можно формировать задания различной сложности и конфигурации, изменяя исходные данные.
Использование модели имитационного тестирования обеспечивает следующие преимущества:
• возможность выполнения задания различными способами;
• возможность всестороннего анализа эффективности действий испытуемого.
• возможность включения в тест заданий различной сложности и конфигурации на базе разработанных макетов.
• возможность разработки принципиально новых типов тестовых заданий, отвечающих специфике конкретной предметной области.
Эффективное тестирование компетентности в сфере информационно-коммуникационных технологий должно проводится в условиях, максимально приближенных к реальным. Для решения данной задачи в рамках описываемого подхода был разработан специальный расширяемый набор имитационных компонентов. В число компонентов вошли имитации оконной операционной системы, текстового редактора, файлового менеджера, программы по работе с электронной почтой, веб-браузера и системы поиска в Интернете. Данный набор не привязан к конкретным коммерческим продуктам, но при этом успешно симулирует их основные особенности и свойства.
Применение технологий объектного программирования и разработка имитационных компонентов лежит в основе создания качественных контрольно-измерительных материалов для оценки компетентности, обеспечивает их многократное использование и позволяет сэкономить время на разработку новых заданий. Пример тестового задания, имитирующего работу с файловой системой компьютера, представлен на рис. 4. (см. цв. вставку). В данном задании проверя-
ется умение создавать папки, искать файлы по расширению и копировать их из одной папки в другую. Возможности оценки подобных способностей испытуемого при помощи имитационных заданий существенно превосходят возможности классического тестирования.
Комбинированный метод оценки предназначен для сочетания плюсов традиционного подхода при тестировании знаний с высокой эффективностью имитационного подхода при тестировании компетентности. Для обеспечения адекватных результатов испытаний и полноценной оценки всех необходимых составляющих компетентности должен соблюдаться баланс между вопросами и заданиями различных типов.
Адаптивность
Разработка автоматизированной системы оценки компетентности предполагает выработку единых подходов и приемов исследования способностей испытуемых. Унифицированная процедура тестирования является залогом объективной оценки, однако имеет один серьезный недостаток - она не учитывает индивидуальных различий в уровне подготовки. Это, в свою очередь, может привести к серьезному снижению точности исследований в случае, если средняя сложность заданий теста не соответствует уровню подготовленности испытуемых. Например, если большинство заданий теста сделаны для пользователей со средней подготовкой, результаты будут недостаточно достоверны для очень хорошо и очень плохо подготовленных испытуемых. В результате этого погрешность оценки компетентности для слабых и сильных испытуемых может быть недопустимо высокой. По аналогии с этим любой тест, рассчитанный на пользователей одного уровня, будет неэффективен при тестировании испытуемых с другой степенью подготовки. Устранить данный недостаток и существенно повысить надежность и точность оценки позволяет использование алгоритмов адаптивного тестирования.
Современная методология адаптивного тестирования Item Response Theory (IRT) основана на математико-статистических моделях измерения и позволяет объективно оценивать «способность» испытуемых и трудность заданий в одной и той же интервальной шкале, что позволяет соотнести уровень подготовленности любого испытуемого с мерой трудности каждого задания теста. В рассматриваемой инновационной среде оценки компетентности на основе методологии IRT и однопара-метрической модели Раша был разработан ал-
горитм адаптивного тестирования; его основные шаги представлены на рис. 5 (см. цв. вставку).
Реализованный алгоритм позволяет шаг за шагом для каждого испытуемого моделировать свой собственный адаптивный тест, обладающий максимальной эффективностью по сравнению со всеми остальными тестами для оценки компетентности данного испытуемого.
Заметим, что адаптивное тестирование требует более существенных затрат на разработку тестовых заданий, поскольку подразумевает создание однотипных контрольно-измерительных материалов различного уровня сложности.
Результаты практического использования
Разработанная технологическая среда оценки компетентности внедрена в учебный процесс Института компьютерных технологий МЭСИ на кафедре Математического обеспечения и администрирования информационных систем. Результаты работ применялись при выполнении НИР: «Создание учебно-методического и технического комплекса реализации программ непрерывного повышения ИКТ компетентности» (№ 18-ип), «Создание многоуровневой системы мониторинга ИКТ компетентности в образовании» (№ 3-пи).
Предложенная инновационная методика тестирования используется при создании отраслевой системы мониторинга и сертификации компьютерной грамотности и ИКТ компетентности учащихся, преподавателей и руководителей образовательных учреждений в системе непрерывного образования в рамках проекта № Ф-24 Федерального агентства по образованию в 2008 г.
Заключение
Описанная технологическая среда оценки компетентности принадлежит к новому поколению автоматизированных систем электронного тестирования и является достаточно универсальной для применения в различных дисциплинах и областях знания. Предложен инновационный подход к оценке компетентности, сочетающий все плюсы традиционных систем электронного тестирования с возможностями имитационных моделей. Проведенные исследования доказывают жизнеспособность компетентностного подхода в образовании и актуальны для успешного развития высшей школы в условиях глобальной конкуренции и новых вызовов, стоящих перед образованием.
Образовательная среда
Литература
1. Зимняя И. А. Ключевые компетентности как результативно-целевая основа компетентностного подхода в образовании. Авторская версия. - М.: Исследовательский центр проблем качества подготовки специалистов, 2004.
2. Савельева Г.П. К вопросу о формировании и оценки ключевых компетенций в высшей школе // Матер. XVI научн.-метод. конф. «Актуальные проблемы качества образования и пути их решения». - М.: Исследовательский центр проблем качества подготовки специалистов, 2006. - 47 с.
3. Байденко В.И. Болонский процесс: поиск общности европейских систем высшего образования (проект Tuning) - М.: Исследовательский центр проблем качества подготовки специалистов, 2006.
4. IMS Global Learning Consortium: Specifications http://www.imsglobal.org/specifications.html
5. International Society for Technology in Education (ISTE) http://www.iste.org
6. Educational Testing Service (ETS) http://www.ets.org/
7. RM KS3 ICT assessment http://www.rm.com/ks3ict/
ИСПОЛЬЗОВАНИЕ ПОЛИМОРФНЫХ УЧЕБНЫХ ОБЪЕКТОВ В ИНФОРМАЦИОННОЙ СИСТЕМЕ УПРАВЛЕНИЯ ОБУЧЕНИЕМ
СЕТЕВОЙ ОРГАНИЗАЦИИ
А.Ю. Бараношников, асп , рук. проектов «Бизнес-Школа» и «Электронный университет» фирмы 1С Тел.: (812) 311-86-76; E-mail: [email protected] Московский государственный университет экономики, статистики и информатики
http://www.mesi.ru, http://www.1c.ru
Models of organizational learning and architecture of learning management systems must be adapted to the network organization. The application has to allow an object to be replicated and reorganized in a new content aggregation. This article presents the work of an investigation to define the role polymorphic learning objects for adaptive software.
Введение в проблему
Обучение персонала является важнейшим условием успешного развития любой организации. При этом все больше внимание
уделяется вопросам использования информационно-методических сред для организации процессов обучения [1]. К наиболее общему классу таких систем относятся интегрированные информационные системы управления человеческими ресурсами (Integrated human resource management information system - IHR MIS) [2]. Наибольшее распространение на рынке получили системы для управления обучением класса LMS (Learning Management System) [3].
Особую сложность обучение и развитие персонала при помощи информационных технологий имеет в крупных распределенных организациях, появление которых явля-
ется следствием процесса глобализации мировой экономики [4]. Такие организации получили название сетевых. Сетевая организация, по данным различных исследований, обладает рядом преимуществ на многих современных рынках [5], в первую очередь, за счет децентрализации в управлении и использования внутренних рыночных механизмов, что обеспечивает эффективность размещения и использования ограниченных ресурсов. При этом отсутствие административного центра в структуре организации, сложность обеспечения равной информацией всех участников сети (асимметрия информации), чрезмерное усложнение отношений, вытекающее из разнородности членов сети, не позволяют эффективно применять традиционные инструментальные средства управления обучением.
«Сетевая организация - коалиция взаимозависимых специализированных экономических единиц со своими целями (независимые фирмы или автономные организации), которые действуют без иерархического контроля, однако все они задействованы в системе с общими целями через многочис-
