Обобщённый критерий эффективности педагогических исследований Текст научной статьи по специальности «Науки об образовании»

МАТЕМАТИКА И МОДЕЛИРОВАНИЕ

УДК 374В6

обобщенный критерии эффективности

педагогических исследований

Важнейшим фактором достижения новых качественных изменений в педагогических исследованиях являются количественные показатели. На это обращал внимание ещё Я.А. Каменский в «Дида-хографии»: «Сущность наших пожеланий: дидактическое искусство должно достигать точности и изящества типографского искусства...»1, т.е. в нашем современном понимании - «математической точности». Более близкое нам по времени трактование этой проблемы можно найти в трудах В.П. Беспалько, С.Л. Рубинштейна, И.В. Роберта2 и др.

В соответствии с государственной концепцией России в сфере образования «первейшая задача образовательной политики на современном этапе - достижение современного качества образования, его соответствия актуальным и перспективным потребностям личности, общества и государства... В общегосударственном плане новое качество образования - это его соответствие современным жизненным потребностям развития страны. В педагогическом плане - это ориентация образования не только на усвоение обучающимся определенной суммы знаний, но и на развитие его личности, его познавательных и созидательных способно стей»3.

При оценке качества обучения невозможно обойтись без оценки уровня образования. В качестве измерительных средств контроля знаний в педагогических исследованиях чаще всего используются данные, полученные в результате статистических обработок контрольных измерительных материалов, результатов тестирования, анкетирования. Среди авторов, использующих конкретные математические методы для исследований в педагогике, следует отметить Г.Н. Алексадрова, Л.Ф. Бурлачука, Б.П. Битираса, М.И. Грабаря , К.А. Краснянскую, А.Н. Майорова, С.М. Морозова, Н.М. Розен-берга, Г.В. Суходольского, В.Ю. Урбаха. При этом многие авторы отходят от традиционной шкалы знаний «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно». Так, в саратовских университетах: классическом, техническом и аграрном - вступитель -ные испытания проводятся по десятибалльной системе. Исследователи В.П. Беспалько, С.Д. Дерябо, Г.А. Стрюков и А.О. Татур придерживаются двенадцати-, девяти- и семибалльных шкал.

Е.В. Берднова,

кандидат педагогических наук, доцент кафедры информационных технологий и прикладной математики, СГАУ

вестник. 2005. № 11

В нашем исследовании использовалась обычная (четырехбалльная) шкала с переводом в неё числовых данных по правилам перевода рейтинговых показателей в оценочные путём привязки оценочной шкалы к процентной доле освоенного материала в учебных часах: 60 - 75% - «удовлетворительно», 76 - 90% - «хорошо», 91 - 100% - «отлично».

Использовалось также четыре уровня обученно-сти: исходный (фундамент профессионального обучения, определяемый при входном контроле), репродуктивный (при котором обучающийся в состоянии перенять у педагога знания, умения и навыки на уровне «делай, как я»), продуктивный (предполагающий умение самостоятельно решать нестандартные задачи, связанные с профессией) и творческий (констатирующий творческие начала у обучающегося). Каждый уровень обученности корре-лировался с оценкой успеваемости. В 90% случаев первому уровню (так как он не отражал профессиональной подготовки) соответствовала оценка «2», второму - «3», третьему - «4», четвёртому - «5». Поэтому уровневые показатели при исследованиях приравнивались к оценочным в баллах («неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»).

Рассмотрим формализованную технологию педагогического эксперимента. Для анализа эффективности новой педагогической технологии по сравнению с традиционной были сформированы две группы - контрольная и экспериментальная. На стадии констатирующего эксперимента обе группы обучались по традиционной технологии, на стадии формирующего эксперимента контрольная группа продолжала обучение по традиционной технологии, а экспериментальная - по новой педагогической технологии. На стадии констатирующего эксперимента методами статистической проверки статистических гипотез была установлена качественная однородность обеих групп. Ниже приведены результаты констатирующего и формирующего экспериментов, рассматривающих распределение студентов по уровням обученности (табл. 1, 2).

Таблица 1

Распределение студентов по уровням обученности при констатирующем эксперименте

Уровень подготовки Контрольная группа Экспериментальная группа

Количество % Количество %

Исходный 42 84,00 40 80,00

Репродуктивный 6 12,00 9 18,00

Продуктивный 2 4,00 1 2,00

Творческий 0 0 0 0

Итого студентов 50 50

Кк = (Аф - Ак) / Ак = (94 - 60) / 60 = 0,57, где Аф вычисляется как сумма произведений количества студентов на соответствующий уровень при формирующем эксперименте, т.е.:

= 1 х 18 + 2 х 20 + 3 х 12 + 4 х 0 = 94,

ф

и аналогично для констатирующего эксперимента: А = 1 х 42 + 2 х 6 + 3 х 2 + 4 х 0 = 60.

к

Таблица 2

Распределение студентов по уровням обученности

при с юрмирующем эксперименте

Уровень подготовки Контрольная группа Экспериментальная группа

Количество % Количество %

Исходный 18 36,00 12 24,00

Репродуктивный 20 40,00 21 42,00

Продуктивный 12 24,00 16 32,00

Творческий 0 0 1 2,00

Итого студентов 50 50

Средневзвешенный показатель качества обучения для контрольной группы Кк определён по формуле:

Предложенный показатель трактуется как отношение разности средневзвешенных показателей к начальному (базовому) средневзвешенному показателю, т.е. как относительный средневзвешенный показатель уровня подготовки.

Аналогичный показатель для экспериментальной группы:

Кэ = (Вф - Вк) / Вк = (106 - 61) / 61 = 0,74, где: Вфэ = 1 х 12 +к 2 х 21 + 3 х 16 + 4 х 1 = 106, В = 1 х 40 + 2 х 9 + 3 х 1 + 4 х 0 = 61.

к

Относительный средневзвешенный показатель: К = (Кэ - Кк) / Кк = (0,74 - 0,57) / 0,57 = 0,30 (30%) характеризует возрастание качества обучения на 30%.

Качество обучения в этом случае связывается с уровнем подготовки.

Как видим, формирующий эксперимент показал сдвиг качества обучения в сторону повышения на 30%.

Таким образом, данный показатель можно считать обобщённым критерием эффективности педагогических исследований.

Рассмотрим вопрос о динамике развития качества обучения. Пусть для эксперимента выбраны две студенческие группы по 25 человек с одного потока.

Констатирующий эксперимент проведён по традиционной педагогической технологии, формирующий эксперимент с экспериментальной (первой) группой - по новой педагогической технологии, а с контрольной (второй) - по традиционной (табл. 3).

Здесь А1 - средняя арифметическая оценка по экспериментальной группе по всем предметам, вынесенным на экзамен в сессию; А2 - средняя арифметическая оценка по контрольной группе по всем предметам, вынесенным на экзамен в сессию, Д1 = А2 - А1, 8г = (Д / А1) х 100%; Д2 = Аф - Ак,.; I = 1, 2; Аф - коэффициент А в случае формирующего эксперимента, Ак - коэффициент А в случае констатирующего эксперимента, 8г = (Д2 / А|) х 100%.

Констатирующий эксперимент

Таблица 3

Вид эксперимента А1 А2

Показатели д 5,

Констатирующий (в зимнюю сессию) 3,83 3,82 0,01 0,3%

Формирующий (в летнюю сессию) 4,17 3,85 0,32 8,3%

д2 0,34 0,03 - -

5 2 8,9% 0,8% - -

= о - среднее квадратическое отклонение,

_ 1 4 1

х = -У х1п1 =—(2х3 + 3х 10 + 4х8 + 5х4) = 3,52 п 25

о2 = - У (х - х)2 п = — [(2 - 3,52)2 х3 + (3 - 3,52)2 х п 7=1 25

х10 +(4 - 3,52)2 х8 + (5 - 3,52)2 х 4]= 20,44

25

= 0,8176;

о = V 0,8 1 76 = 0,904 .

Разница между группами по качеству обучения на стадии констатирующего эксперимента незначительная - 0,3% (это говорит о чистоте эксперимен -та). Разница между группами по этому же показателю на стадии формирующего эксперимента значительная - 8,3% (это говорит о повышении качества обучения на 8,3% и, следовательно, об эффективности новой педагогической технологии). Разница между успеваемостью в первой (экспериментальной) группе в зимнюю и летнюю сессии значительная - 8,9% (это говорит о положительной динамике в развитии группы). Разница между успеваемостью во второй (контрольной) группе в зимнюю и летнюю сессии незначительная - 0,8% (это говорит о слабой положительной динамике в развитии группы). Вывод: в отношении обеспечения качества обучения новая педагогическая технология более эффективна, чем традиционная.

Вопрос о надёжности статистических педагогических исследований следует проводить с помощью статистической проверки статистических гипотез.

Первым вопросом в этих исследованиях является вопрос о том, отвечает ли рассматриваемое распределение нормальному закону, ибо все иные проверки опираются на то, что распределение подчиняется нормальному закону.

Поясним это на примере. Пусть в процессе эксперимента в группе из 25 человек (абстрактной контрольной группе в констатирующем эксперименте) успеваемость (например, по данным семестрового экзамена по математике) распределилась следующим образом: оценку «отлично» («5») получили 4 человека, оценку «хорошо» («4») - 8 человек, оценку «удовлетворительно» («3») - 10 человек и оценку «неудовлетворительно» («2»)- 3 человека. Требу -ется, используя критерий Пирсона, при уровне значимости 0,05 проверить, согласуется ли гипотеза о нормальном распределении генеральной совокуп -ности Х с эмпирическим распределением выборки.

Решение. п 3 10 8 4;

х|: 2 3 4 5, п = 25 - объём выборки, И = х| + 1 - х = 1 - шаг, о =

Вычислим теоретические частоты, учитывая, что п = 25, о = 0,904, по формуле

, пк , . 25х1 , . „__ / \

п. =—хф(и.) =-хф(и.) = 27,7ф(и.)

' о ' 0,904 ' ^ ''.

Функция ф (и) находится из табл. 1, данной в приложении к «Теории вероятностей и математической статистике»4.

Составим таблицу для нахождения п' (табл. 4).

Таблица 4

1 X х. - х и1 = ' о ф (и ) п. = 27,7 хф(и.)

1 2 - 1,68 0,0973 2,7

2 3 - 0,57 0,3391 9,4

3 4 0,53 0,3467 9,6

4 5 1,64 0,1057 2,9

Составим таблицу для нахождения х1абл = У (п,. -п;)2 /п,' (табл. 5).

Таблица 5

1 п, п п1 - п' (щ - п')2 (п, - п.)2 / п'

1 3 2,7 0,3 0,09 0,03

2 10 9,4 0,6 0,36 0,04

3 8 9,6 - 1,6 2,56 0,27

4 4 2,9 1,1 1,21 0,42

Из табл. 5 находим X^ = У (п, -п)2 /п. = 0,76.

Функцию X 2р находим из табл. 5, данной в приложении к «Теории вероятностей и математической статистике»5 по уровню значимости а = 0,05 и числу степеней свободы к = э - 3 = 4 - 3 = 1

Х2р (0,05; 1) = 3,8.

Так как х1бл ^ Х2Р, гипотеза о нормальном распределении генеральной совокупности принимается.

Следующий вопрос, который требует решения для установления адекватности исследований, -сравнение «средних показателей успеваемости». На самом деле сравниваться должны математические ожидания. Но суть такая же.

Вновь рассмотрим отвлечённый пример. По двум независимым малым выборкам (пусть это будут абстрактная контрольная группа, которую мы уже оценивали, и абстрактная экспериментальная группа, распределение успеваемости в которой также подчиняется нормальному закону) оцениваются результаты испытаний. Пусть объемы групп, п = =25 и т = 25, извлечены из нормальных генераль-

ных совокупностей X и У, найдены выборочные средние: х = 3,52, у = 3,48 и исправленные диспер-

4

-х0,8176 = 1,09; ^ = 0,92 .

2 п 2

сии: ^ х =-хо2 =

х п-1 х 4-1

Требуется при уровне значимости 0,05 проверить нулевую гипотезу Н0 / М(Х) = М(У) при конкурирующей гипотезе Н1 / М(Х) #М(У).

Решение. Исправленные дисперсии различны, поэтому предварительно проверим гипотезу о равенстве генеральных дисперсий, используя критерий Фишера - Снедекора. Найдем отношение боль-

1,09

шей дисперсии к меньшей: Енабл = "0-92 = 1,2. Дисперсия яХ значительно больше дисперсии , поэтому в качестве конкурирующей примем гипотезу Н1/ й(Х) > й(У). В этом случае критическая область правосторонняя. По табл. 7, данной в приложении к «Теории вероятностей и математической статистике»6, по уровню значимости а = 0,05 и числам степеней свободы к1 = п - 1 = 25 - 1 = 24 и к2 = т - 1 = 25 - 1 = = 24 находим критическую точку Р кр (0,05; 24; 24). В табл. 7 таких значений нет. Предельные значения даны для к1 = 12 и к2 = 17, но видно, что при добавлении каждой новой степени свободы искомое значение уменьшается по к1 на 0,03 и по к2 на 0,06. Поэтому найдём Ркр (0,05; 24; 24) = Ркр (0,05; 12; 17) -- 0,03 х (24 - 12) - 0,06 х (24 - 17)Ф= 2,38 - 0,36 -0,42 = 1,6.

Так как Р < Р , нет основания отвергнуть ну-

набл кр ' г} }

левую гипотезу о равенстве генеральных дисперсий. Предположение о равенстве генеральных дисперсий выполняется, поэтому сравним средние (при нормальном законе распределения и при равенстве генеральных дисперсий).

Вычислим наблюдаемое значение критерия Стьюдента:

Тнабл

х - у

у](п -1) яXX + (т -1) я 3,52 - 3,48

4

п ■ т(п + т - 2)

п + т

у1(25 -1) х1,09 + (25 -1) х 0,92

42

25 х 25 х (25 + 25 - 2) х = 0,02.

25 + 25

По условию конкурирующая гипотеза имеет вид: М(Х) #М(У), поэтому критическая область двусто-

ронняя. По уровню значимости 0,05 и числу степеней свободы К = п + т - 2 = 48 находим по табл. 6, данной в приложении к «Теории вероятностей и математической статистике» 7, критическую точку 1 (0,05; 48) > 43,8. (В табл. 6 такого значения

двуст. кр 4 ' ' ' ' 4

нет, но из неё ясно, что чем больше К, тем больше

двуст. кр

Так как Т „ < 1 , нулевая гипотеза о равен-

набл двуст. кр ' * г

стве средних принимается.

Итак, исследованы основные закономерности, необходимые для установления достоверности экспериментальных данных: распределения подчиняются нормальному закону, математические ожидания и дисперсии отличаются незначительно. Можно утверждать о чистоте эксперимента и его адекватности поставленным задачам.

Представляет интерес и средневзвешенный показатель качества обучения, который для контрольной группы Кк определяется как сумма произведений количества студентов на соответствующий уровень обученности при констатирующем эксперименте Ак минус аналогичная сумма при формирующем эксперименте Аф, отнесённая к Ак, т.е. Кк = (Аф --Ак) / Ак. Аналогичный показатель для экспериментальной группы К = (В - В) / В Относительный средневзвешенный показатель, К = (Кэ - К) / К, характеризует изменение качества обучения.

1 Цит. по: Хрестоматия по истории зарубежной педагогики. М., 1981.

2 См.: Беспалько В.П. Программированное обучение. Дидактические основы. М., 1970; Рубинштейн С.Л. О мышлении и путях его исследования. М., 1968; Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы исследований. М., 1999.

3 Цит по: Официальные документы в образовании. Образовательная политика России на современном этапе. 2002. № 2.

4 См.: Гмурман В.Е. Теория вероятностей и математическая статистика: Учеб. пособие для вузов. М., 1998.

5 Там же.

6 Там же.

7 Там же.