CC BY
30
ношении 1:1:4. Наиболее пригодным для экзамена будет такой набор тестов: два теста третьего уровня сложности — один в открытой форме, другой в закрытой; два теста второго уровня и 3—5 тестов начального уровня сложности.
4. В электронной форме, на наш взгляд, тесты следует использовать только для промежуточной оценки зна-
ний. На экзамене форма должна быть традиционной с расшифровкой ответа: геометрическая схема — словесная трактовка — числовая обработка данных.
5. Применение тестов на зачете и экзамене делает оценку знаний объективной, исключает влияние личного фактора взаимоотношений между студентом и преподавателем.
.Поступила 21.06.06.
ДИАГНОСТИКА ПРОЧНОСТИ СТРУКТУРЫ ЗНАНИИ
ОБУЧАЕМЫХ
Т. Л. Снигирееа, доцент кафедры физики с курсом высшей математики Ижевской государственной медицинской академии,
О. Г. Комкова, преподаватель кафедры общей и биоорганической химии Ижевской государственной медицинской академии
В статье приводятся результаты диагностики прочности структуры знаний обучаемых, которую характеризуют уровень структуры знаний, объем сформированных знаний и скорость забывания знаний. Технология диагностики основана на тестовых измерителях.
Современная государственная политика по обеспечению качества образования в России предусматривает решение целого комплекса проблем, стоящих перед учебными заведениями (школами, гимназиями, институтами, академиями и т. д.). Среди них можно выделить общую проблему оценки качества учебного процесса, а именно качества подготовки обучаемых (учащихся, студентов) и усвоенных ими знаний, диагностики сформированной у них структуры знаний.
Под структурой знаний в нашем исследовании понимается устойчивая и упорядоченная связь между знаниями определенного вида, соотнесенными по содержанию с изучаемым модулем учебной информации и классификатором знаний (например, классификатором знаний Б. Блума — Р. Гагна — В. С. Аванесова1) в рамках определенной модели обучения (от 3 до 6 уровней усвоения учебного материала, предложенных В. П. Беспалько, М. Н. Скаткиным, Б. Блумом и другими авторами). При этом диагностика предполагает выявле-
ние не только достигнутого уровня формирования структуры знаний, но и определение ее прочности. Под прочностью структуры знаний мы понимаем результат запоминания, удержания в памяти, сохранения определенных видов знаний.
Для оценки прочности структуры знаний обучаемых необходимо: 1) разработать структуру теста согласно таксономической модели структуры знаний и учебному тезаурусу дисциплины; 2) составить тестовые задания (ТЗ), соответствующие структуре теста, сформировать тест; 3) провести анализ и экспертизу теста; 4) осуществить процедуру тестирования и сформировать матрицу тестовых результатов.
Оценка прочности структуры знаний была проведена нами на выборке (и = 100) студентов I курса, специализирующихся по кафедре общей и биоорга-нической химии Ижевской государственной медицинской академии, по теме «Базовые знания по органической химии». Структура теста представлена в табл. 1, ф Т. А. Снигирева, О. Г. Комкова, 2006
где уровни сложности ТЗ соответствуют трем первым уровням таксономии
Б. Блума (I — знание; II III — применение).
понимание; Таблица 1
Структура теста «Базовые знания по органической химии»
Виды диагностируемых знаний Классы дескрипторов Всего дескрипторов в тезаурусе / в тесте Количество ТЗ по уровням сложности
I П ПІ
Фактуальные Понятия 51 33 2 12
Формулы веществ 87 40
Сравнительные Свойства и явления 31 24 5 6
Классификационные Класси фикации 'хГ т 00 го 4
Алгоритмические Модели (графики) 17 5 3
Механизмы 12 9 4 1 6
Технологические Методы 13 6 3 2 8
Реактивы (приборы) 18 9 2 2 2
Математические Расчетные формулы 8
Обобщенно-абстрагированные Законы и правила 8 1 1
Номенклатура 5 3 4
Причинно-следственные Причины 7 4 2 2 4
Общее количество 295 168 14 35 26
При диагностике прочности структуры знаний основными показателями служат уровень структуры знаний, объем знаний и скорость забывания.
Оценка уровня структуры знаний (УСЗ) обучаемых была произведена на основании критерия у по формуле
г=Ъ д /ц +ВД/4 +адш/4р (1)
где у — критерий уровня структуры знаний; —весовые коэффициен-
ты ТЗ I, II и III уровней сложности, которые определяются на основании метода
групповых экспертных оценок-, +Ут = 1 (условие нормировки); Я,, К , Лш — число правильных ответов на ТЗ I, II и III уровней сложности; Ь1,Ьй,Ьт — число ТЗ I, II и III уровней сложности.
Если 0,9 < у < 1 — уровень структуры знаний полный; 0,75 < у < 0,9 — достаточный; 0,5 < у < 0,75 — удовлетворительный; если у < 0,5 — неудовлетворительный.
Оценка уровня структуры знаний на основании формулы (1) позволила разделить испытуемых на несколько групп (рис. 1, 2).
□
□
Рис. 1. Распределение студентов по уровню структуры знаний в результате 1-го тестирования
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ Ц 4%
□ Достаточный □ Удовлетворительный □ Неудовлетворительный
Р и с. 2. Распределение студентов по уровню структуры знаний в результате 2-го тестирования
Прочность структуры знаний выявлялась на основе сравнения объема знаний непосредственно после изучения курса с объемом знаний через несколько месяцев по описанной ниже методике,
Пусть — объем сформированных
знаний по г-й теме £-го обучаемого, который можно определить по формуле
(2)
Здесь |л — число базовых дескрипторов г-й темы, усвоенных испытуемым при выполнении теста, которое вычисляется по формуле
N
(3)
где Лг, — число базовых дескрипторов
тезауруса учебной дисциплины, определяющих содержание теста по г-й теме;
Ь — число ТЗ; Е. — число правильных
Оценка среднего объема сформированных знаний
Уровень структуры знаний Средний объем сформированных знаний
1-е тестирование Г,(%) 2-е тестирование V / (%) Д,%
Полный 0,57 (100) 0 -100
Достаточный 0,44 (77) 0,46 (81) +4
Удовлетворительный 0,37 (65) 0,35 (61) -4
Неудовлетворительный 0,26 (46) 0,25 (44) -2
ответов испытуемого при выполнении теста.
'V — общее число дескрипторов г-й темы (определяется на основании требований Г’ОС или по нормам, установленным в образовательном учреждении).
У; — средний объем сформированных знаний выборки испытуемых и вычисляется по формуле
(4)
к=1
где Р — относительная частота объема сформированных знаний г испытуемых, имеющих одинаковый уровень структуры знаний.
На основании матрицы тестовых результатов была проведена оценка среднего объема сформированных знаний после изучения курса органической химии (}', ) и через 5 мес. {V]) с учетом уровня структуры знаний (табл. 2).
Для обработки результатов исследования по формулам (2, 3) был определен У, тах = 0,57, относительно которого рассчитано приращение. Анализ данных табл. 2 показывает уменьшение объема знаний испытуемых через 5 мес.
Объемы сформированных знаний и К-Г3 связаны со скоростью забывания формулой
={; ехр(-А(,/;), (5)
где V$ — объем сформированных знаний £-го обучаемого с учетом фактора забывания знаний, который рассчитан аналогично ¥1к по формулам (2—4) на основании результатов 2-го тестирования;
ехр(-Я;. ^; ) —фактор забывания; А;) — скорость забывания знаний; ? ■ — время забывания знаний. В нашем исследовании г. = 5 мес.
% = ГГ^Н,; (6)
\=ЁЯгЛ, (7)
к=1
где А,, — средняя скорость забывания
[мес.1]; Р. — относительная частота скорости забывания каждого испытуемого в исследуемой выборке.
Оценка скорости забывания отдельных видов диагностируемых знаний приведена в табл. 3.
Таблица 3
Скорость забывания отдельных видов знаний
Виды диагностируемых знаний 1-е тестирование 2-е тестирование Средняя скорость
(уровень сложности) Средний уровень структуры знаний у забывания знаний X.. И
Фактуальные (I) неуд. 0,46 неуд. 0,44 0,006
Фактуальные (II) удов. 0,69 УДОВ. 0,59 0,033
Сравнительные (П) Удов. 0,56 удов. 0,56 0,003
Сравнительные (Ш) удов. 0,59 удов. 0,54 0,012
Классификационные (II) удов. 0,60 удов. 0,54 0,022
Алгоритмические (модели) (II) удов. 0,73 удов. 0,65 0,050
Алгоритмические (механизмы) (I) удов. 0,60 неуд. 0,45 0,005
Алгоритмические (механизмы) (II) Дост. 0,90 ПОЛИ. 0,91 -0,020
Алгоритмические (механизмы) (III) неуд. 0,50 неуд. 0,44 0,042
Технологические (методы) (I) удов. 0,68 удов. 0,56 0,047
Технологические (методы) (П) неуд. 0,39 неуд. 0,23 0,106
Технологические (методы) (Ш) удов. 0,54 неуд. 0,47 0,025
Технологические (реактивы, приборы) (I) дост. 0,80 удов. 0,56 0,071
Технологические (реактивы, приборы) (II) неуд. 0,50 неуд. 0,46 0,017
Технологические (реактивы, приборы) (III) неуд. 0,37 неуд. 0,31 0,035
Обобщенно-абстрагированные (законы и правила) (I) удов. 0,74 удов. 0,68 0,025
Обобщенно-абстрагированные (номенклатура) (П) удов. 0,71 удов. 0,61 0,030
Причинно-следственные (I) удов. 0,66 дост. 0,81 -0,042
Причинно-следственные (II) неуд. 0,45 неуд. 0,35 0,050
Причинно-следственные (Ш) удов. 0,57 неуд. 0,48 0,039
Средняя скорость забывания знаний, вычисленная на основании формул (6, 7), составила 0,026 мес."1, что практически соответствует предполагаемому теоретическому значению3.
Как показывает анализ табл. 3,наибольшая скорость забывания (Я,, = 0,106) у технологических (методы) знаний (ТЗ II уровня сложности) — знаний не только химических свойств определенных классов органических веществ, но и методов их идентификации: этапов, преимуществ перед другими методами, внешнего проявления. Наименьшая скорость забывания (А1? = -0,042) у причинно-следственных знаний (ТЗ I уровня сложности), т. е. знаний принципов действия наиболее часто применяемых в бытовых ситуациях лекарственных веществ. К этой же категории относятся алгоритмические (механизмы) знания (ТЗ II уровня сложности, = -0,02) — знания стадий механизмов химических реакций, процессов, происходящих на этих стадиях, и их значений. Приведенные результаты говорят о пролонгированной актуализации знаний и их практической значимости для обучаемых. Достаточно высокая скорость забывания у алгоритмических (модели, Н уровень сложности) и причинно-следственных (II уровень сложности), а также технологических (методы, I уровень сложности) знаний.
Значения показателя у (см. табл. 3) свидетельствуют о неудовлетворительном уровне структуры широкого диапазона видов знаний при 1-м тестировании, а при повторном контроле практически у половины диагностируемых видов знаний отмечается неудовлетворительный показатель УСЗ. Из категории «удовлетво-
рительный уровень структуры знании» при 2-м тестировании в «неудовлетворительный» перешли алгоритмические (механизмы, I уровень сложности), технологические (методы, II уровень сложности), причинно-следственные (III уровень сложности) знания, т. е. те, которые приобретаются в основном в процессе изучения вузовского курса.
На основании полученных данных можно говорить о том, что прочность структуры знаний по объему сформированных знаний и скорости забывания приближается к нормативному результату, а уровень структуры знаний относительно низок, что объясняется недостаточной базовой подготовкой обучаемых.
Проведенное исследование качества формируемой структуры знаний обучаемых на основе предложенной методики позволяет: определить уровень структуры знаний каждого обучаемого; провести оценку прочности структуры знаний, а именно определить скорость забывания знаний; выявить пробелы в усвоении отдельных видов формируемых знаний; внести изменения в методику проведения практического занятия (семинара) на основе данных о скорости забывания знаний; наметить пути для дальнейшего совершенствования качества и результативности учебного процесса.
ПРИМЕЧАНИЯ
1 См.: Аванесов В. С. Композиция тестовых заданий / В. С. Аванесов. М., 2002.
2 См.: Черепанов В. С- Экспертные оценки в педагогических исследованиях / В. С. Черепанов. М., 1989.
'Сч.: Черепанов В. С. ч<Пороговые знания» в структуре обученности / В. С. Черепанов, О. В. Любимова // Проблемы теории и методики обучения. 2002. № 6. С. 16—19.
Поступила 27.06.06.
