CC BY
203
ВЕСТН. МОСК. УН-ТА. СЕР. 20. ПЕДАГОГИЧЕСКОЕ ОБРАЗОВАНИЕ. 2009. № 4
ТЕСТЫ ПО РУССКОМУ ЯЗЫКУ?
ТЕСТЫ ПО РУССКОМУ ЯЗЫКУ!
С.С. Пашковская
(Пензенский государственный педагогический университет
им. В.Г. Белинского. e-mail: svetlpash@mail.ru)
Время тестирования — драгоценное время.
Р. Ладо
Единый государственный экзамен существенно отличается от традиционного выпускного экзамена как по содержанию, так и по форме проведения. Правильно составленный тест — совокупность сбалансированных тестовых заданий, свойства которых определены на представительной выборке учащихся. В тесты неэкономично включать задания, степень трудности которых ниже 20%, — это слишком трудные задания (меньше 20% всех тестируемых выполнили их), и задания, степень трудности которых выше 80%, — это слишком легкие. Количество заданий в тесте должно быть таким, чтобы пропорционально отразить основное содержание предмета, не перегружая второстепенным материалом, а трудность заданий должна быть сбалансирована таким образом, чтобы обеспечить равносложность различных вариантов теста. Настоящий педагогический тест — результат взаимовлияния содержания заданий с наиболее подходящей формой.
Ключевые слова: единый государственный экзамен (ЕГЭ), уровень знаний, качество знаний, тестовые задания, дифференцирующая способность, степень трудности, валидность, надежность теста, дистракторы.
Важнейшим показателем качества образования является объективная оценка учебных достижений учащихся.
Объективная оценка учебных достижений осуществляется стандартизированными процедурами, при осуществлении которых все учащиеся находятся в одинаковых условиях. Такую стандартизированную процедуру учебных достижений называют тестированием.
"...Тесты представляют собой особую совокупность заданий, которые позволяют дать объективную, сопоставимую и даже количественную оценку качества подготовки обучаемого в заданной области. В свою очередь объективность и измеримость качества образования открывают широчайшие возможности для управления учебным процессом — от корректировки содержания образовательных стандартов и программ до совершенствования методов преподавания и повышения эффективности стимулирования самостоятельных занятий учащихся и студентов" [8: 5].
Практическое использование современных педагогических тестов дает учащимся возможность объективно оценить уровень своих знаний и определить свой рейтинг среди множества российских учащихся, проходивших тестирование.
Уже в 2000 г. свыше 750 тыс. учащихся из 81 региона России добровольно приняли участие в централизованном тестировании. С 2000 по 2008 г. собрана федеральная база тестовых материалов, создан банк паспортизированных тестовых заданий, свойства которых определены на представительной выборке.
"Единый государственный экзамен существенно отличается от традиционного выпускного экзамена как по содержанию, так и по форме проведения. Его главная особенность состоит в полноте охвата курса русского языка... Экзаменационный тест проверяет:
1) знания о языке как системе (знания по фонетике, лексике, словообразованию, морфологии, синтаксису);
2) речеведческие знания — текст.; типы речи.; стили речи.; использование языковых средств в зависимости от темы текста, стиля и типа речи;
3) специальные учебные умения (владение способами действия с языковым материалом на основе понятий и правил);
4) орфографическую и пунктуационную грамотность;
5) владение нормами литературного языка: орфоэпическими, лексическими, морфологическими, синтаксическими, стилистическими;
6) умение анализировать текст: проводить смысловой, рече-ведческий, языковой анализ текста;
7) умение создавать текст в жанре рецензии или эссе" [5].
Ведется серьезный, научный анализ результатов тестирования.
Начиная с 2000 г. при определении тестового балла (шкалирование) используется методика, учитывающая не только количество верных ответов при выполнении теста, но также и трудоемкость соответствующих тестовых заданий.
Основной задачей тестов по русскому языку является обеспечение единого, унифицированного контроля с целью выявления того или иного уровня знаний по данному предмету и сформиро-ванности умений и навыков по русскому языку.
В качестве основных требований к тесту по русскому языку были приняты следующие рекомендации отечественных и зарубежных психологов:
• точное формулирование цели применения данного теста;
• определение содержания и объема материала, предназначенного для тестирования; выделение наиболее важных деталей;
• определение наиболее подходящей для материала формы теста;
• точное определение продолжительности теста, числа заданий;
• определение условий проверки качества тестов и автоматизации тестового контроля на основании экспериментальных данных.
Под тестом по русскому языку понимаются контрольные задания специфической формы, возрастающей трудности, отражающие систему русского языка, предназначенные для выявления уровня сфор-мированности орфографических, пунктуационных, стилистических навыков учащихся; кратковременные задания, проводимые в равных для всех обучающихся условиях, отличающиеся формализацией ответов испытуемых, результаты тестов поддаются определенной оценке по заранее установленной шкале баллов [6].
Под специфической формой понимается набор требований, который складывался в тестологии десятилетиями.
В профессиональных тестах должна быть заложена возрастающая трудность заданий, так как выполненные задания характеризуют знания учащихся не только с точки зрения количества, но и качества. Тестологи В.С. Аванесов, М.Б. Челышкова и др. утверждают, что на первый план должна выходить структура знаний. "Если за каждый правильный ответ на задание ученику давать один балл, а за неправильный ответ или пропуск задания — нуль баллов, то профиль ответов выглядит как последовательность единиц и нулей, полученных учеником при выполнении теста. Правильному профилю, где все нули следуют за всеми единицами, отвечает правильная структура знаний" [8: 67].
При равном количестве правильных ответов у нескольких учащихся уровень их знаний будет одинаковым, но разным качество знаний. Выше качество знаний у тех, кто выполнил задания в порядке их возрастающей сложности, и ниже у тех, кто выполнил задания разной степени сложности.
Итак, уровень знаний коррелирует с количеством правильно выполненных заданий, а качество знаний — с последовательностью выполнения заданий (с правильностью профиля). Поэтому содержание дисциплины в профессиональных педагогических тестах важно структурировать.
Разработка современных педагогических тестов представляет собой сложную и трудоемкую задачу. Методика разработки тестов предполагает совокупность методов:
• отбора содержания;
• отображения содержания предмета в форме тестов;
• разработки предтестовых заданий;
• подсчета параметров заданий и тестов;
• интерпретации результатов;
• подготовки организации и проведения тестирования.
Существует важное отличие предтестовых заданий от тестовых:
предтестовые задания — это авторские задания, удовлетворяющие ряду требований к содержанию и форме.
Тестовые задания — предтестовые, прошедшие эмпирическую проверку и удовлетворяющие определенным критериям качества, имеющие определенную дифференцирующую способность (ДС — способность разграничить сильных и слабых студентов) и степень трудности СТ, которая может быть в пределах 20—80%. Формула меры трудности позволяет исключить задания, которые делают все или все не делают, что одинаково плохо для качественной характеристики теста.
Правильно составленный тест — совокупность сбалансированных тестовых заданий, свойства которых определены на представительной выборке учащихся.
В тесты неэкономично включать задания, степень трудности которых ниже 20% — это слишком трудные задания (меньше 20% всех тестируемых выполнили их) и задания, степень трудности которых выше 80% — это слишком легкие.
Для определения степени трудности надо число, составляющее сумму правильно выполненных заданий, разделить на количество учащихся и умножить на 100%.
Дифференцирующая способность (ДС) задания показывает, насколько данное задание способно разграничить сильных и слабых учащихся.
Количество заданий в тесте должно быть таким, чтобы пропорционально отразить основное содержание предмета, не перегружая второстепенным материалом, а трудность заданий должна быть сбалансирована таким образом, чтобы обеспечить равносложность различных вариантов теста.
Настоящий педагогический тест — результат взаимовлияния содержания заданий с наиболее подходящей формой.
Существует только 4 формы тестовых заданий:
• закрытые задания с выбором правильного ответа;
• задания на соответствие;
• задания на установление правильной последовательности;
• открытые задания, которые имеют содержательную часть и ответ (в виде слова, числа, символа), который тестируемые должны добавить сами.
Уже на стадии замысла содержание задания начинает обретать свою форму. Важно помнить, что не всякое задание поддается представлению в тесте.
По формальным признакам можно выделить такие подгруппы тестов:
По структуре и способу оформления ответа: избирательные тесты; со свободно конструируемым ответом. По характеру выборочных ответов: альтернативный тест (двойной выбор); множественный выбор; перекрестный выбор.
Структура теста по русскому языку не отличается от структуры тестов по другим предметам. Информационная часть содержит точную и просто сформулированную инструкцию. По мнению В.С. Аванесова [1, 2, 3], М.Б. Челышковой [8], задания лучше формулировать в виде утверждения, а не вопроса, так как вопросы не бывают верными и неверными. Утверждение при подстановке верного ответа превращается в истинное, а при подстановке дистракторов — в ложное. Четко и просто сформулированная инструкция — это гарантия того, что все учащиеся выполняют задания в наиболее одинаковых условиях.
Операционная часть состоит из некоторого количества заданий. К тестовому заданию даны наборы ответов, среди которых содержится правильный и несколько отвлекающих ответов (дис-тракторы).
Существуют определенные требования к оформлению структуры теста:
• число слов в инструкции должно быть оптимальным для понимания (исключаются избыточные слова, загромождающие текст);
• задания лучше формулировать в виде утверждения, а не вопроса;
• в тексте заданий не должно быть неясных формулировок, неясностей;
• из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа;
• дистракторы (неправильные ответы) должны быть равновероятно правдоподобны;
• среди дистракторов не должно быть более или менее правильных ответов.
Важно, чтобы тест оценили и проверили выполнение тестоло-гических требований не только авторы-создатели, но и независимые эксперты. При анализе следует обращать особое внимание на следующие недостатки, которые часто возникают при составлении тестов:
• содержательная некорректность задания;
• двойственность понимания инструкции;
• несоответствие каждого задания проверке только одного знания (умения или навыка);
• отсутствие стандартизованной тестовой формы (несоответствие задания одной из 4 тестовых форм означает только одно: это не тестовое задание).
Основными критериями качества тестов по русскому языку являются валидность и надежность [7].
Валидность — это пригодность теста служить средством измерения знаний по русскому языку, орфографических (пунктуационных, стилистических) навыков и умений учащихся. Иными словами, валидность — это правильность и обоснованность выводов о сформированности навыков учащихся на основе тестовых оценок.
Различают несколько видов валидности: содержательная, внешняя, конструктная, функциональная, критериальная (сопряженная и прогностическая). Все, кроме последней, можно определить лишь качественно, через соответствующий анализ тестируемого материала. Критериальная валидность определяется количественно через соответствующий коэффициент корреляции с привлечением математико-статистического аппарата.
Для тестов по русскому языку особое значение имеет валид-ность по содержанию, т.е. соответствие содержания теста школьному курсу обучения русскому языку. Очень важно не перегружать тест второстепенным материалом. Есть необходимость минимизировать правила, исключив многочисленные факультативные случаи, не упоминая о вариативных ситуациях.
Содержательная валидность теста по русскому языку — это показатель того, насколько полно и всесторонне тест охватывает школьный материал, отражающий логическую сущность и закономерность системы русского языка, для проверки усвоения которой он сконструирован.
При составлении тестов всегда возникают вопросы: охватывает ли содержание весь комплекс программных требований к овладению школьным курсом русского языка и насколько отобранные задания (из множества возможных) пригодны для оценки знаний и навыков учащихся. Исходный методический принцип содержания теста по русскому языку — типичность и частотность.
При анализе содержательной валидности теста встает вопрос о необходимости улучшения внешней валидности, т.е. необходимости приспособить тест к той аудитории, где он будет проводиться.
Близка к валидности по содержанию валидность психологической концепции (конструктная, концептуальная).
Конструктная валидность — это необходимость учитывать психолингвистическую модель усвоения языкового материала. Важнейшими составляющими этой модели является анализ закономерностей запоминания, хранения и воспроизведения различных языковых единиц и анализ специфических трудностей, связанных с формированием орфографической и пунктуационной грамотности.
Существует несколько уровней грамотности. Первый (он же центральный) обозначен правилами, нарушение которых дает наибольший процент ошибок. Хороший результат в тестировании по русскому языку невозможно получить, опираясь на интуицию и "удачу". Нужна сознательная грамотность: знание правил, некоторых исключений, языковых "тонкостей", умение дифференцировать внешне сходные, но по сути различные языковые ситуации (например, "н-нн" в кратких страдательных причастиях и кратких прилагательных и т.д.). Сознательность навыка обеспечивается необходимыми знаниями, которые проявляются в овладении адекватными содержанию этих правил способами действия. Правила приобретают свое место и назначение в письменной деятельности учащихся, а необходимость знать их оказывается мотивированной.
Знания, навыки, умения — вот основа успешного выполнения теста по русскому языку.
Вслед за В.С. Аванесовым [3] и В.П. Беспалько [4] выделим функциональную валидность, имеющую большое значение для теста по русскому языку. Функциональная валидность — это полное соответствие теста тому уровню усвоения, виду деятельности, для которого он создан.
Для определения качественности теста важное значение имеет критериальная валидность (статистическая), которая показывает, насколько результаты по данному тесту могут быть использованы для определения существующего состояния или прогноза эффективности деятельности испытуемых. Вычисляется коэффициент корреляции между тестовыми баллами учащихся и результатами прямых или косвенных измерений по какому-нибудь внешнему критерию для этой же выборки испытуемых. Внешним критерием может быть другой (валидный и надежный) тест, прошедший предварительную апробацию, оценки преподавателей (при условии их адекватности и объективности).
Опираясь на данные исследований, полученные в течение 10 лет работы с абитуриентами по подготовке сначала к Централизованному тесту по русскому языку, а затем к ЕГЭ по русскому языку, можем сделать вывод: школьник в процессе подготовки выполняет разные варианты теста, но делает приблизительно оди-
наковое количество ошибок и на одни и те же темы, что свидетельствует, во-первых, о хорошей статистической валидности тестов по русскому языку, а во-вторых, о невозможности угадывания в тестах с таким количеством заданий. Утверждение, что любой тест — это "угадайка", безосновательно! Для сомневающихся напомним, что существует формула коррекции индивидуальных баллов заданий закрытой формы, которая изначально закладывается в профессиональный педагогический тест.
Большое внимание уделяется повышению надежности результатов тестирования.
Надежность — стабильность и устойчивость результатов теста, постоянство, с которым тест измеряет сформированность сознательной грамотности, вероятность соответствия оценки истинным знаниям испытуемого.
Надежность теста связана с понятием точности педагогического измерения. Теоретически самый безупречный (но трудно выполнимый в реальных условиях) способ — это нахождение коэффициента корреляции между двумя параллельными тестам на одной и той же выборке абитуриентов. Второй способ позволяет оценить надежность при однократном тестировании. Для этого весь тест разбивают на две равные половины. Отдельно подсчитывают полученные баллы для нечетных и четных заданий теста.
К тестам можно относиться по-разному: любить или не любить, хвалить или ругать, но важно помнить одно — только научная критика способствует дальнейшему развитию тестов. Даже скептики вынуждены признать неоспоримые преимущества тестов:
• объективная оценка знаний (умений, навыков);
• отсутствие субъективного восприятия;
• большой охват учащихся;
• сопоставление выполненных заданий по единому материалу и единой шкале.
"Как и все технологии, основанные на достижениях науки, тестирование требует серьезной подготовки со стороны тех, кто намерен всерьез заняться созданием и использованием педагогических тестов... Никаких обходных путей тестирование не признает: неряшливо разработанные, не прошедшие апробации тесты способны давать лишь ошибочные результаты, поэтому их использование станет шагом назад, а не вперед" [8: 6].
Список литературы
1. Аванесов В.С. Теоретические основы разработки заданий в тестовой форме. М., 1995.
2. Аванесов В.С. Форма тестовых заданий. М., 1991.
4 ВМУ, педагогическое образование, № 4
3. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. М., 1989.
4. Беспалько Б.В. Программированное обучение (дидактические основы). М., 1970.
5. Единый государственный экзамен 2002: Контрол. измерит. материалы: Рус. яз. / В.И. Капинос (рук.), С.И. Львова, Л.И. Пучкова и др. М., 2003.
6. Канакина Г.И., Пашковская С.С., Суркова Т.И. Тесты по русскому языку. Пенза, 1999.
7. Коккота В.А. Лингводидактическое тестирование. М., 1989.
8. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М., 2002.
TESTS IN THE RUSSIAN LANGUAGE?
TESTS IN THE RUSSIAN LANGUAGE!
S.S. Pashkovskaya
The objective assessment of academic achievements is carried out by means of standardized procedures, students being in equal conditions. The Russian State exam is different from the traditional final exam both in its contents and form. A correct test is a set of balanced test tasks the features of which are defined on the base of a representative sample of students. Tasks the complexity of which is lower than 20% should not be included into tests as they are too difficult (less than 20% of the tested fulfilled them) as well as tasks the complexity of which is higher than 80% as they are too easy. The number of tasks in a test should be able to reflect the main contents of the subject without overburdening it with minor material. The task difficulty should be balanced in order to make different variants of a test equal. This pedagogical test is a result of interconnection of tasks with the most appropriate form.
Key words: The Russian State Exam, the level of knowledge, the quality of knowledge, test tasks, differential ability, the degree of complexity, validity, reliability, destructors.
Сведения об авторе
Пашковская Светлана Сергеевна — докторант Государственного института имени А.С. Пушкина (г. Москва), кандидат педагогических наук, доцент кафедры РКИ Пензенского государственного педагогического университета имени В.Г. Белинского. Тел. 8-927-360-06-61, e-mail: svetlpash@mail.ru
