CC BY
99
УДК 378
ОСОБЕННОСТИ ТЕСТИРОВАНИЯ КАК СРЕДСТВА КОНТРОЛЯ И ОЦЕНИВАНИЯ УЧЕБНЫХ ДОСТИЖЕНИЙ СТУДЕНТОВ
И.Н. Буланова1
Самарский государственный технический университет 443100, г. Самара, ул. Молодогвардейская, 244 E-mail: [email protected]
Рассматривается одно из средств контроля и оценивания успеваемости студентов - тестирование. Описаны особенности основных видов тестовых заданий. Показано применение педагогических тестов для мониторинга успеваемости студентов на примере кафедры высшей математики и прикладной информатики Самарского государственного технического университета. Обоснована состоятельность применяемых тестовых заданий, что позволяет говорить о тестировании как об эффективном средстве объективного контроля знаний студентов.
Ключевые слова: тестирование, контроль и оценка, статистические характеристики, особенности тестового контроля.
Повышение эффективности управления учебно-воспитательным процессом напрямую зависит от систематического контроля учебно-познавательной деятельности студентов. В настоящее время согласно требованиям государственного образовательного стандарта [1] необходимо, чтобы система контроля учебных достижений обучаемых была разноплановой, т. е. ориентированной, с одной стороны, на проверку знаний и умений, с другой - на выявление творческих способностей [2, с. 29]. Контролирующие мероприятия меняют свой характер и смещаются от традиционных к аутентичным формам, предполагающим использование в контроле релевантных оценочных средств. К таким средствам можно отнести и педагогические тесты.
Педагогический тест - это система заданий специфической формы, определенного содержания, нарастающей трудности, позволяющая качественно оценить и измерить уровень знаний, умений и навыков [3, с. 7].
По целям применения педагогические тесты разделяются на нормативно-ориентированные и критериально-ориентированные. Нормативно-ориентированный тест позволяет ранжировать испытуемых по уровню знаний, то есть сравнивать учебные достижения испытуемых друг с другом.
1Ирина Николаевна Буланова, преподаватель кафедры высшей математики и прикладной информатики.
Критериально-ориентированный тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области [4, с. 36].
Существуют четыре основных вида тестовых заданий [5].
1. Тестовые задания открытого типа, когда задания формулируются в форме вопроса или высказывания, где тестируемым предлагается продолжить или вставить недостающую часть утверждения. Их можно разделить на задания с коротким или развернутым ответом. Достоинство данного вида заключается в том, что в них нет готового ответа, что лишает проверяемых возможности угадывания. К недостаткам можно отнести краткие формулировки, трудно совмещаемые с требуемой однозначностью системы «вопрос -ответ». Задания этого типа проверяют такие показатели обученности, как запоминание (при кратком) и понимание (при развернутом ответе).
2. Тестовые задания закрытого типа, состоящие из основного текста и различных вариантов ответов, где правильные варианты носят название «райтеры», а неправильные - «дистракторы». По типу формулировки теста подобные задания - высказывательные и повелительные, которые легко формулируются и понимаются испытуемыми. Основной недостаток - возможность угадывания ответа, к тому же в этом случае проверяется лишь различение, распознавание, а в лучшем случае - уровень запоминания.
3. Задания на установление соответствия (элементы одного множества требуется поставить в соответствие элементам другого множества). Они активизируют самостоятельную работу испытуемых, исключают условия для списывания, позволяют проверить такой важный показатель обученности, как понимание, и носят обучающий характер.
4. Задания на установление правильной последовательности, способствующие формированию логического мышления и проверяющие степень сформированности осознанных знаний, то есть понимания.
Точные науки, в том числе и высшая математика, - наиболее подходящий объект для разработки тестовых заданий. Практически любая задача здесь трансформируется в тестовое задание того или иного вида, и правильность ответа не вызывает никаких сомнений или разночтений.
На кафедре высшей математики и прикладной информатики Самарского государственного технического университета на протяжении многих лет для мониторинга успеваемости студентов применяются гомогенные педагогические тесты. Система тестового контроля строится в соответствии с рабочей программой. Каждому разделу рабочей программы ставится в соответствие контролирующее мероприятие.
Так, на входе в обучение ежегодно проводится тест по школьному курсу математики, который позволяет выявить багаж знаний, умений и навыков, которым обладают студенты, оценить уровень их готовности к изучению высшей математики в вузе [6]. Изучение каждого раздела завершается тематическим контролем с использованием следующих тестов:
- «Линейная алгебра. Аналитическая геометрия», «Пределы. Производные» (1-й семестр);
- «Интегральное исчисление», «Дифференциальные уравнения», «Ряды» (2-й семестр);
- «Теория функции комплексной переменной», «Операционное исчисление», «Теория вероятностей», «Математическая статистика», «Уравнения математической физики» (3-й семестр).
В конце каждого семестра предусмотрен рубежный контроль (экзаменационные тесты), по завершении всего курса - итоговый контроль (тесты остаточных знаний). Все вышеперечисленные тесты представляют собой задания закрытой формы с пятью ответами, верный из которых - только один.
Важной особенностью, отличающей тесты от традиционных форм контроля, являются научно обоснованные критерии качества. Поэтому тестовые задания, разработанные на кафедре высшей математики и прикладной информатики, проходят обязательную процедуру оценки их надежности и ва-лидности.
Надежность теста отражает точность тестовых измерений, а также устойчивость тестовых результатов к действию случайных факторов. Для оценки надежности применяют формулу Кьюдера - Ричардсона [7, с. 335]:
( п Л
Е РгЧг
(г ) = П
УН )КН-20
Н)КН-20
п -1
1- '=1
5
V У
где п - число заданий теста; р1 - доля правильных ответов на 1-е задание; qi -доля неправильных ответов; Ях2 - дисперсия по распределению наблюдаемых баллов.
В качестве нижнего предела допустимых значений надежности обычно выбирают 0,7. При более низком значении использование теста нецелесообразно. Рассмотрим показатели надежности некоторых тестов:
- школьный тест: гН = 0,74;
- «Интегральное исчисление»: гН = 0,796;
- «Линейная алгебра. Аналитическая геометрия»: гН = 0,753 [8].
Валидность характеризует адекватность теста поставленной цели его создания, т. е. соответствие содержания теста запланированным для проверки знаниям и умениям. Для оценки валидности теста используют показатель дискриминативности, вычисляемый по формуле [7, с. 253]
(х1I ),
Г = •
дис I
^ К
N )| -(м0 )|
N (М -1)
где (х1) - среднее значение индивидуальных баллов испытуемых, выполнивших верно 1-е задание теста; (х0). - среднее значение индивидуальных баллов испытуемых, выполнивших неверно 1-е задание теста; 8Х - стандартное отклонение по множеству значений индивидуальных баллов; (М) - число испытуемых, выполнивших верно 1-е задание теста; (N0)1 - число испытуемых, выполнивших неверно 1-е задание теста; N - общее число испытуемых.
Значение индекса гдис г представляет собой дробь, принадлежащую интервалу [-1; 1]. Максимальное значение 1 индекс гдис г достигает в том случае, когда все испытуемые из подгруппы лучших правильно выполнят 1-е задание теста, а из подгруппы худших это задание не выполнит ни один. В этом случае задание будет обладать максимальным дифференцирующим эффектом (идеальная ситуация).
Некоторые показатели дискриминативности представлены в табл. 1 и табл. 2.
Таблица 1
Показатели дискриминативности теста «Интегральное исчисление»
№ задачи 1 2 3 4 5 6 7 8 9 10
гдис I 0,62 0,68 0,68 0,68 0,55 0,51 0,65 0,62 0,59 0,62
Таблица 2
Показатели дискриминативности теста «Линейная алгебра. Аналитическая геометрия»
№ задачи 1 2 3 4 5 6 7 8 9 10
гдис г 0,07 0,59 0,38 0,10 0,45 0,28 0,62 0,72 0,64 0,44
№ задачи 11 12 13 14 15 16 17 18 19 20
гдис I 0,39 0,24 0,64 0,50 0,81 0,69 0,75 0,75 0,72 0,53
Общий коэффициент валидности теста вычисляется по формуле
I
г
дис I
гдис = --, где п - число заданий теста.
п
Оценивается его значение следующим образом: 0,2-0,3 - низкое; 0,30,5 - среднее; свыше 0,5 - высокое. Так, значение общего коэффициента для теста «Интегральное исчисление» составляет 0,62; для теста «Линейная алгебра. Аналитическая геометрия» - 0,434.
Полученные данные говорят о состоятельности упомянутых тестовых заданий. Важно отметить, что несмотря на многолетний опыт, сложившиеся традиции, устоявшийся порядок применения тестов тестология не остановилась в своем развитии. Существующие апробированные тесты обновляются, корректируются в зависимости от меняющихся внешних условий и предъявляемых требований, оставаясь при этом надежными и валидными. Так, после проведенного анализа качества теста «Линейная алгебра. Аналитическая геометрия» [8] в тестовые задания были внесены некоторые изменения с целью повышения качественных характеристик. Обновленный тест также прошел процедуру анализа, который показал улучшение показателей надежности (с 0,753 до 0,813) [9] и валидности (с 0,434 до 0,475) [10].
В 2015 г. был обновлен и тест по школьному курсу математики. Из него были удалены задания, перекликающиеся с курсом высшей математики (скалярное произведение векторов, интегральное исчисление и его приложения), а внесены задания, изучаемые только в школе (свойства показательной и логарифмической функций, решение неравенств). Тестирование проводилось традиционно у студентов всех факультетов. Для сравнения результатов 2014 и 2015 гг. был выбран химико-технологический факультет (95 и 92 студента соответственно). Анализ критериев качества теста до (2014 г.) и после (2015 г.) внесенных изменений показал следующие результаты. Показатель надежности значительно возрос: с 0,758 до 0,853. Показатель дискримина-тивности несколько снизился: с 0,420 до 0,400, но остался в рамках среднего значения. Результаты исследований говорят об улучшении и без того состоятельных тестовые заданий, что характеризует тестирование как эффективное средство объективного контроля знаний студентов.
Таким образом, созданная система тестового контроля функционирует в режиме постоянного обновления с учетом педагогической практики и потребностей общественного развития.
Все тесты, разработанные на кафедре высшей математики, состоят из заданий закрытого типа, которые, как отмечалось ранее, проверяют только первый и второй уровни усвоения знаний по Беспалько [11, с. 56], что является достаточным на данном этапе обучения (1-й, 2-й, 3-й семестры). В дальнейшем для оценки третьего (эвристическая деятельность) и четвертого (творческая деятельность) уровней знаний эксперты рекомендуют исполь-
зовать компетентностные или ситуационные тесты, сочетающие разные виды тестовых заданий между собой и содержащие задания прикладного и междисциплинарного характера.
В заключение отметим, что рассмотренные особенности характеризуют тестирование как эффективное средство контроля, обеспечивающее надежную и объективную оценку учебных достижений студентов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Портал Федеральных государственных образовательных стандартов высшего образования [Электронный ресурс]. - Режим доступа: http://www.fgosvo.ru
2. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений. 3-е изд., стер. - М.: Академия, 2009. - 224 с.
3. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие по спецкурсу. - Донецк: ДонГУ, 1991. - 256 с.
4. Ким В. С. Тестирование учебных достижений: монография. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.: ил.
5. Аванесов В. С. Композиция тестовых заданий. Книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев. - М.: Ассоциация инженеров-педагогов, 1996. - 191 с.
6. Буланова И.Н., Евдокимов М.А. Анализ подготовленности студентов-первокурсников к изучению высшей математики // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2012. - № 2 (18). - С. 38-41.
7. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. - М.: Логос, 2002. - 432 с.: ил.
8. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 2 (26). - С. 113-122.
9. Лиманова Л.В. Повышение надежности педагогического теста «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2016. - № 2 (25). - С. 75-81.
10. Муратова Л.А. Качественные изменения педагогического теста «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2016. - № 2 (25). - С. 82-88.
11. Беспалько В.П. Природосообразная педагогика: лекции по нетрадиционной педагогике. - М.: Народное образование, 2008. - 512 с.
Поступила в редакцию 25.11.16; в окончательном варианте 5.12.16
UDC 378
FEATURES OF TESTING AS CONTROL DEVICES AND ESTIMATIONS OF EDUCATIONAL ACHIEVEMENTS OF STUDENTS
I.N. Bulanova1
Samara State Technical University
244, Molodogvardejskaya str., Samara, 443100
E-mail: i-bulanova @bk.ru
In the article one of control devices and estimation ofprogress of students - testing is considered. Features of main types of test tasks are described. Application of pedagogical tests for monitoring of progress of students on the example of department of the higher mathematics and applied informatics of the Samara state technical university is shown. The solvency of the applied test tasks that allows to speak about testing as about an effective remedy of objective control of knowledge of students is proved.
Keywords: testirovaniye, control and assessment, statistical characteristics, features of test control.
REFERENCES
1. Portal Federalnykh gosudarstvennykh obrazovatel'nykh standartov [Portal of Federal state educational standards of the higher education]. [Electronic resource]. - access mode: http://www.fgosvo.ru
2. Zvonnikov V.I., Chelyshkova M.B. Sovremennye sredstva otsenivaniya rezuftatov obucheniya [Modern means of estimation of results of training:] studies. a grant for the student. the highest. studies. institutions. 3rd-e prod., I erased. M.: Publishing center "Akademiya", 2009. 224 p.
3. Oleynik N.M. Test kak instrument izmereniya znaniy I trudnosti zadaniy v sovremennoy tekhnologii obucheniya [The test as the instrument of measurement of level of knowledge and difficulty of tasks in modern technology of training]: The manual on a special course. Donetsk: To DONG, 1991. 256 p.
4. Kim V.S. Testirovanie uchebnykh dostizheniy [Testing of educational achievements]. Monograph. Ussuriisk: UGPI publishing house, 2007. 214 p.: silt.
1 Irina N. Bulanova, Lecture of Advanced Mathematics and Applied Informatics Department
5. Avanesov V.S. Kompozitsiya testovykh zadaniy [Kompozition of test tasks.] The book for teachers of higher education institutions, technical schools and schools, teachers of schools, gymnasiums and lyceums. M.: Association of engineers-teachers, 1996. 191 p.
6. Bulanova I.N., Evdokimov M.A. Analiz podgotovlennosti studentov-pervokursnikov k izucheniyu vysschey matematike [The analysis of readiness of first-year students to studying of the higher mathematics] The Bulletin of the Samara state technical university. It is gray. Psychology and pedagogical sciences. 2012. No. 2 (18). pp. 38-41.
7. Chelyshkova M.B. Teoriya i praktika konstruirovaniya pedagogicheskikh testov [Theory and practice of designing of pedagogical tests]: Manual. M.: Логос, 2002. 432 p.: silt.
8. Limonova L.V., Muratova L.A. Analiz kachestva testa iz kursa vysschey matematiki po teme "Lineynaya algebra i analiticheskaya geometriya" [The analysis of quality of dough from a course of the higher mathematics on the subject "Linear Algebra, Analytical Geometry"] the Bulletin of the Samara state technical university. It is gray. Psychology and pedagogical sciences. 2015. No. 2 (26). pp. 113-122.
9. Limonova L. V. povyschenie nadezhnosti pedagogicheskogo testa "Lineynaya algebra i analiticheskaya geometriya" /Increase of reliability of the pedagogical test "Linear Algebra, Analytical Geometry"] Bulletin of the Samara state technical university. It is gray. Psychology and pedagogical sciences. 2016. No. 2 (25). pp. 75-81.
10. Muratova L.A. Kachestvennye izmeneniya pedagogicheskogo testa "Lineynaya algebra i analiticheskaya geometriya" [High-quality changes of the pedagogical test "Linear Algebra, Analytical Geometry"]. Bulletin of the Samara state technical university. It is gray. Psychology and pedagogical sciences. 2016. No. 2 (25). pp. 82-88.
11. Bespalko V.P. Prirodosoobraznaya pedagogika: lektsii po netraditsionnoy pedagogike [Nature corresponding pedagogics: lectures on nonconventional pedagogics]. Moscow: National education, 2008. 512 p.
Original article submitted 25.11.16; revision submitted 5.12.16
