CC BY
49
♦-♦
Чйй» Ьеяг .cJeK ifmail.ru Алексей Иосифович Безруков,
кандидат экономических наук, доцент кафедры прикладной математики и информатики, Саратовский социально-экономический институт (филиал)
РЭУ им Г. В. Плеханова
gгaЬo^skayalv f;yaлdeя.гlJ Людмила Владимировна Грахольская,
кандидат экономических наук, доцекгт? кафедры прикладной математики и информатики, Саратовский социально-экономический институт (филиал)
РЭУ им. Г В Плеханова
А
«у bk.ru Лариса Вячеславовна Малышева,
кандидат педагогических наук, доцент кафедры прикладной математики и информатики. Саратовский СОциальнО-ЭкбнОмичеСкий институт (филиал) УДК ЗАО А РЭУ им. Г. В. Плеханова
МЕТОДЫ ОЦЕНКИ РЕЛЕВАНТНОСТИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ В СИСТЕМЕ ПОДГОТОВКИ ЭКОНОМИСТОВ
Рассматривает™ проблема при ме нения том пькгсер нот тестирования при оценке уровня гтодготоапенности эконом истое Для освоения акономической специальности студенты должны получить глубокие знания как га точным так и по гуманитарным дисциплинам Поэтому л ля обучения экономистов особенно актуапьно создание системы обеспечивающей релевантную оценку ¿наций в различные областях Перечислены типовые возражения против использования тестов для оценки знанмй студентов Рассмотрены требование предълЕ ляем^е теорией педагогических измерений к содержанию, струп-уре тестов и процедуре тестирования Пока эено, что большинство претензий может быть снято, если система тестировании соответствуй! модели Рашэ Рассмотрены причинь- вызывающие отклонение результатов тестов от требований модели Исследовано воздействие каждой из них на результат предложен метод оцекци времени, необходимого для выполнении теста Л оказано что правильная организации Процесса тестирования позволяет существенно снизить рпияние згтик причин и повысить его релевантность ^формулированы педагогические выводы. которые можно сделать при анализе невыполнения требований модели для всеа исследуемой группы, ее части и отдельных студентов Предложены меропряятия. позволяющие отслеживать соответствие результатов тестирования требованиям модепи Рйшэ.
Клю чсоыс слона: птестироаг^ие релевантность статистический анализ результатов тестирования. !ЯТ. мобепь Рзшз
А.!. Bezгukov, 1.1/. СгаИо1Бкауа, V, Ма!у$Ьеча
METHODS OF ASSESSING RELEVANCE OF TESTING RESULTS IN TRAINING OF FUTURE ECONOMISTS
"¡"Tie articSe studies the problem of applying computer testing in assessing the (eveI of academic performance of economists in order to gel good economic education students must receive in-depth know ledge of both the exact and humanitarian disciplines Therefcre !or economic eaucation it rs especially important to cieate a system that provides too Is f o r re ha b ie assessme nt of knowled ge in va rious fields Typica I o bje dlon s to tn e use of tests fb r a ssassing students' knowledge are discussed Requirements formulated by thetneory of pedagogical assessment totne content, stiucture □F tests and testing procedure are considered It is stated that most objocfion can be withdrawn if Bie tasting system corresponds to the Rasch nwdet Reasons or the deviation of test results from the requirements of ihe m&uel are i den-ttfied The effect of each ot them on tfie resuft is investigated A method tor estimating the time needed to compete a test is proposed it is shown that proper organisation of Ihe testing process can significantly reduce the impact of these
♦-♦
reasons a nd in crease ■ is re leva nee Edtj cation a I co ncl u&iq ns a re nrtad e a iter a na lyzsng th e n on-lu I n I Ime ni of the requ Ira-menls of ths model for the entire study group, its pari a no Individual sludents. Measures are proposed to monitor the compliance of test results wifri ;hc- nequiremervts of the Rasch model
Keywords: testing, relevance soustica! analysis of test results. IRT, Razch model
Для освоения эко ном оческа и специальности студент дол жен получить глубокие знания пак по точным, так и по Гуманитарным дисциплинам Это делает особо актуальным создание единой системы контроля знаний, обеспечивающей сопоставимые оценки уровня его подготовленности в различны* областях Наиболее адег.нзтны11 Метода^ о6ъе:-;гиь«си оце>--:и является компьютерное тестирование При наличии специальных программ и добротны* банное тестовых заданий этот метод позволяет достаточно быстро и с небольшими затратами получить оценку знании, навыков и умений студентов в разных областях Современные принципы организации Процесса тестирования и использование автоматизированный систем препятгтг* уют сп исы ва н (кажд bjit студент т^олу-чзс-т индивидуальный набор заданий) позволяют сохранить дпя последующего анализа множество сведений о процессе тестирования {например, о после доезтельности выполнения задании, времени затраченном студентов на выполнение геста и т д.; Как правило, системы тестирование имеют несколько встроенных методов сценки уровня подготовленности студентов
Однако е среде преподавателей существует критическое отношение г. широкому применению Тестов в уче&ном процессе Перечислим наиболее аргументированные возражения скептиков
Излишне механистическая процедура тестирования Студент имеет дело с машиной, а не с преподавателем. который гонимает СМЫСЛ действии студента и может оценить и к правильность, даже если результат был формально неверноw
Сама процедура тестирования когда важно нажат* правильную кнопку, на понимая смысла изученного материала, ориентирует и студентов, и преподавателей на натаскивание на тест вместо глубокого изучения предмета.
Ч а сть э адан и и включе н ны х в тесты, сформули ро-гааны некорректно Это допускает множественность их интерпретации, назначение «правильного ответа» отражает субъективное мнение составите п я те ста
Зачастую и студентами, и преподавателями тест рассматривается как лотерея, результат которой зависит от удачи
Отдельным испытуемым, вполне подготовленным, не Хватает времени нэ выполнение всех заданий теста В работе анализируются перечисленные возражения с целью сформулировать ыетсды оценки релевантности систем тестировала предъявляемым требованиям
к+тобы -оценить обоснованность возражении рассмотрим основные понятия и предположения теории педагогических измерении {fíen* rasponee tfteory- iRT) [1] Согласно этой теории тестирование рассматривается нал случайный процесс, результат которого эй вй сит от пате нтны х (н а пр вмую не на&л юдаемых } парэ-
ыетров итпытуемсто, трудности вь л о-гняемых задании и множества других случайных факторов, йскачэящи* зезультат Вероятность р. правильного выполнена ^-м студентом г-гю задания теста зависит от разности уроаня подготовленности б. студента и трудности задания Д-
(1}
Чтобы уровень подготовленности и трудность за дании измерялась е одинаковы* единицах, в 1ИТ используется следящий прием Уровень подготовленности оценивается ¿эк логаэифм отношения шансов студента выполнить задание к шансам не выполнить, а уровень трудности как потзр*фм отношения числа студентов не выполнивших задание к числу вытюл чивших
'У
/од
Ms
M
ы
fit = log
Ns
(2}
где M, - число задание выполненных j-м студентов |Ц, - число невыполненных им заданий; N. - число студентов, выполнивших /-е задание; Nlm - число студента а, не выполнивших данное задание
Такие единицы Измерении получщли название КЛОГИГЧ и широко используются в статистических исследованиях
Г. Рэш [&] предложил в качестве функции F использовать логистическую функцию. Дня учета различии разброса величины удачных выполнений каждого задания, а та*йсе вероятности угадывания правильно ответа {с,) и чувствительности тестовых заданий к уровню гсодготтрапенности студентов (çaj разработана модишицированная модель Рашэ- Вирнбйума [7]f
ехр(а, >фу - fi, ))
Главное преимущество модели Рзша заключается в том, что она дает аналитический вид эе роят ноет и успешного выполнения задан/и Это позволяет использовать для оценки уровня подготовленности студентов метод максимального правдоподобия Многочисленные публикации посвященные методам обработки результатов тестирования, подтверждают что этот метод дает наиболее надел:мые и Точные оценки [0].
Покажем что, если твет соответствует требованиям модели Раша, большинство типичных возражении теряет актуальность
Оценка студента напяется статистической карак-тернстикои. полученной у результате тестирования, поэтому механическая ошибка при выполнении одного задания скорее всего окажется несущественной при достаточно большом количестве заданий теста
Большое количество разнообразных задании, накопленных в банке тестовых заданий (ÊT-3), возмож-
часть составления множества то мои наци it в каждом тесте делает бессмысленным натаскивание на конкретные шаблоны
Одной из саму* обсуждаемых причин неадекватности теста считается н-аличие б -iем некорректных заданий. Для выявления таких причин в работах [21 предложен метод статистического а напила результату тестирования. По тому, как выполнен весь тест, оценивается уровень подготовки студентов Полученные оценки используются для построения зависимости частоты успешности выполнения каждого гадания от уровни подготовленности студентов Если зависимость сильно отличается от предсказанное моде пью Рэша. 5то, пак правило, свидетельствует о некорректности задания Методика была апробирована на результатах, хранящихся в система компьютерного тестирования ACT Саратовского социапьно-энономиче ского института И] Алгоритм анализа реализован в в компьютерной программы [5] что позаопяет проводить подобный анализ ао всех вузах, использующих систему ACT
Расчеты по модели Раша показывают, что существует четкая корреляционная связь между уровнем подготовпенности студентов и их оценками [3] Следовательно если тест соответствуетмодели Рац;а, то рассматривать тест мак лотерею неправомерно
Однако возникает вопрос для всех ли результатов тестирования можно нсполысэать модель Рэш-з7
При реальном тестирсвании 4acTt требований модели ^эшв может н^ выгтолпяться поэтому, прежде чем испопьзовать згту модель, нужно проверить стати-Йтичее*уя гипотезу о ее применимости к полученным результатам На рисунке перечислены причины, по которым модель Раша может быть неадекватна результатам тестировании
Очевидно, что влияние различных причин Может проявиться од и на кое ы м образом Позтому статистический анализ результатов тестирования может выявить только группу проблем, что само по себе не является конечным результатом, но увеличивает эффективно ciь последующего содержательного анализа Рассмотрим проявления некоторых из них
Если результаты тестирования не соответствуют модели Раша для всей исследуемой группы, следует проанализировать время отведенное на тест у. саму процедуру тестирования Недостаток времени Проявляется в том, что большинство студентов даже не приступа пи к части заданий теста (в системе компьютерного тестирования ACT это задания, на которые было истрачено 0 единиц времени).
Анализ имеющемся a ACT статистики позволяет обосновать оптимальное время, отводимое на вы лолнение каждого теста а та роке проанализировав зависимость времени, затраченного на выполнение теста от полученной оценки Типичная зависимость представляет собой выпуклую вверх кривую. Кэх правило, наименьшее время затачивают студента получившие не удовлетвори -ельпые оценки, а наибольшее - потупившие средние оценки Студенты, имеющие твердые знания, выпопнжат тест быстрее троечников и хорошистов
Причиной снижения уровня выполнения тестов могут бытьтакже помехи, психологические и физиологические проблемь возникающие в ходе тестирования {например, шум и духота в помещении, неисправная техника. запугивание студенте р. и тд \
При аномальных результатах части исследуемой группу следует проверить, не было ли нарушений в процессе тестирования Например, повышенный уровень выполненных заданий Может говорить о наличии
Причины отклонений результатов тестирования от модели Рашз
подсказок Особенно ярким свндетепьством подсказок яб/тяетея неожиданное выполнение слабыми студентами трудных заданий
Значите пьн ые откп он е и ия и i-щ инедуальн ым резу пь-тзтов можно интерпретировать с помощью профили Гуттмвна [61. Например, а результате анализа мож^г бь1ть вы вв пен о, что студ е иг не зн ает н е кото ры е темы включенные a teci
Неумение студента распределить свои силы и время на выполнение асах задании проявятся как наличие задании, к выполнении которым студент даже не приступал Кроме того, о5 этом могут свидетельствовать досадные ошибки при выполнении простых заданий. Пренебрежение выполнением простых заданий может свидетельствовать о том. что студент недостаточно мотивирован Не понимая, что тест - часть процедуры аттестации студент получает оценки значительно ниже уровня его подготовленности
М ожно сфор нули ровать следую щие pekoые ид аци и по организации процесса тестирования и ведению □ам ков тестов ых зада ни й для оце нки 3 на ни й студ а нгов экономических специальностей
15 процессе тестирования должна накапливаться
статистика позволяющая добиться соответствие процесса 1 ест и ров ан и я требованиям, предъявляемым моделью Раша
Необходимо исследовать все случаи отклонения, выявлять л устранять породившие их Причины
При выполнении требовании, предъявляемых моделью Ра шз к содержанию структуре ^естов а также к процессу тестировании, мы получим мощный, нэ-
flewHhtn и эффективный инструмент проверки уровня гюдфтовленййети студентов в различных областях знаний
1 А^нвсаа В С Проблема огъегтвнддту! редэгогичедии* измерении,': П&ДЗГоглческИе ИЗМёреннЯ ]!0СШ № Ü С.3—10
2. БвзрукавА.И. Г7^*К№;княГГ. Алгоритм акэуализа-цип с-ытистнип i.^^yíibidiüH выполнения тесто вы? заданий нзшплелных е системе ACT I) Мместия Российского экономичного университета им Гй Пл&хйноь^ Мч А {22) С. 178^188.
3 Гусягттаяо9 в И. Seipyuve A J-i, Сонполоеэ Т п Каю коааИ.В . Пегояшпьасаи Г Г Метода -и гмдели оценки качества обучения в вузе на основе компетентностного подходе Саратов 2016.
4 МэпыщеваЛВ По&йки/юСКдЙ Г.Г. Применение методики статистически™ англ им банков тестовьп з-адянии ■. Наукэ и дбщейтво 2019 С 33-30
5. С&вдег&льегуо о релксгращии прагрэимы ЭВМ'н взэы данных Ni 2С11 6512ВВ7 ГТрОГрЗмМв анализа качЕстчэ ¿анкар гвйтювьн заданий на otHiiae модели Paiua - ЕирнЙзума t В н Гусятников А.И &узрукай. t Н: Соколова. И В Какжп-Ba. Г Г Погйжипьскзн. 25.05 2D1& г М . Росгчт(>нг. 2D1&
6. Чепшшкоеа М Б Теория и претим конструирования педагогических тестов: учеб пособие М Погос, 2ÜÜ2
7. Bimtlaum Д S&me Latenl Trart Models and Tneir Use in Inft-rringans Exannnee s Atujity V/ Lord F.M. NovickM. Statistical Theories at Mental Teal Scores AnOison Wesley pnbl Co Reading, Mass. 1568. P 397^75
a.OemcííjJCwF.Sflcci'S. GitsfdrAÍ. Statistical л.гч1ум of Cues-
ticmalties A Unifpetí Approach flaa=d qn R and ЗЬ:? CRC Press Taylor £ Francis Graijp Boca Ralíin. Lordan New York. 701S
9 RsscbG On депЕгз! lav/sand the meEpimjolmeEsurernEnt in psychology .' In píTíceedmgB dI the fourth berxley symposium an r.ijt'ítí■ 11ltnjdi Étatietíce and probability Bcrkiey univ 01 California Press, 1 &61
