CC BY-NC-ND
979
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
ПОБЕДА в PIRLS И ПОРАЖЕНИЕ в PISA: СУДЬБА ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ 10-15-ЛЕТНИХ ШКОЛЬНИКОВ1
Тест PIRLS свидетельствует о высоком уровне готовности 9-10-летних выпускников российской начальной школы к обучению с помощью текстов. Тест PISA обнаружил низкий уровень готовности 15-16-летних выпускников основной школы к использованию текстов для решения широкого круга бытовых, социальных и образовательных задач. Для изучения динамики читательской грамотности 10-15-летних учеников основной школы была создана диагностическая методика «Тяни-толкай», сочетающая подходы PIRLS и PISA. Приведены данные о читательской грамотности учеников 4-х, 6-х и 9-х классов, оцененной с помощью этого единого измерителя. Показано, что два года обучения в российской основной школе (5-й и 6-й классы) ничего не изменяют в способности школьников понимать информационные тексты. 9-й класс значимо отличается по уровню читательской грамотности от 4-го, однако ее накопление за пять лет обучения весьма незначительно. Результаты расцениваются как свидетельство того, что в современной российской школе остро стоит проблема качества учебников и способов их использования в учебном процессе.
Ключевые слова: читательская грамотность, читательские умения, PIRLS, PISA, образовательные переходы, основная школа, учебники.
1 Исследование осуществлено в 2010 г. в рамках программы фундаментальных исследований ГУ-ВШЭ и проекта Центра международного сотрудничества по развитию образования АНХ «Разработка комплексного инструментария оценки школьных стратегий формирования грамотности чтения учащихся начальной и основной школы» (74/07-10 от 24 июня 2010 г.). Авторы выражают искреннюю благодарность А. В. Постульгину — директору Тамбовского областного государственного учреждения «Центр экспертизы образовательной деятельности» и сотрудникам Центра за организацию эксперимента по методике «Тяни-толкай», а также В. Ю. Барановой, Н. В. Нурминской, Н. Г. Кошеленко, сотрудникам Центра оценки качества образования УРАО «Институт содержания и методов обучения» — за подготовку к проведению эксперимента и статистическую обработку результатов измерения по методике «Тяни-толкай».
Статья поступила в редакцию в феврале 2011 г.
Аннотация
123
Теоретические и прикладные исследования
Л
1. Зачем нужны новые измерения читательской грамотности
В последнее десятилетие наши представления о значении чтения для развития человека и общества существенно обогатились2. Установлена связь между оценкой по шкале читательской грамотности в тесте PISA и вероятностью того, что молодой человек окончит школу и продолжит образование. Показано, что высокий уровень читательской грамотности, измеренной с помощью теста PISA, является более надежным предсказателем будущего экономического благополучия человека, чем оценки в школьном аттестате. Обнаружено, что средний уровень читательской грамотности в стране лучше предсказывает экономический рост, чем обобщенный показатель учебных достижений.
Эти и подобные им важные сообщения поступают из стран с развитой экономикой и сложившейся демократией. Для России, где связи между образованием и годовыми доходами граждан не столь прозрачны, острый интерес к проблеме читательской грамотности выпускников школы связан в первую очередь с нашей верой (ибо «умом Россию не понять») в силу письменного слова. Люди, решающие сегодня судьбы отечественного образования, сами выросли на книгах и в большинстве своем уверены, что письменность является краеугольным камнем не только прошлой, но и будущей цивилизации. Авторы этой статьи не скрывают своего пристрастия к книжной культуре и полагают вслед за Иосифом Бродским, что язык и то, что на нем написано, — «вещи более древние, неизбежные, долговечные, чем любая форма общественной организации»3. И поэтому введение новых поколений в письменную речь — это педагогическое средство удержания связи времен.
Отчет об исследовании динамики читательской грамотности 10-15-летних школьников мы начинаем с этих символов педагогической веры, ибо хотим, чтобы технические детали — эта обязательная составляющая честного экспериментального описания — не заслонили патетической значимости предмета нашего экспериментирования. Личный смысл изучения читательской грамотности для нас — проверить, не ослабела, не разорвалась ли «дней связующая нить».
Профессиональный смысл этого исследования состоит в том, чтобы ответить на вопрос, которым в последние годы задаются многие: чем объясняется гигантский разрыв между результатами российских школьников в двух международных сравнительных исследованиях, связанных с оцениванием читательской грамотности, — PIRLS и PISA. Напомним, что PIRLS оценивает читательскую грамотность в конце обучения в начальной школе, на переходе от обучения самому процессу чтения к использованию чтения как одного из основных средств дальнейшего обучения. PISA оценивает читательскую
124
OECD (2010). PISA 2009 Framework: Key competencies in reading, mathematics and science. Paris: OECD.
Иосиф Бродский. Нобелевская речь http://www.serann.rU/t/t166.html
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
грамотность у 15-летних учащихся, на переходе от использования чтения как средства обучения к использованию чтения как средства ориентации в реальной жизни. В сущности, оба теста оценивают готовность школьников к новому способу использования письменных сообщений для решения задач, соответствующих следующей возрастной и образовательной ступени. В PIRLS российские четвероклассники дважды (2001, 2006 гг.) продемонстрировали высокие результаты по чтению (статистически значимо выше среднего международного показателя) [Цукерман, 2001]. В 2006 г. Россия значимо улучшила собственные результаты и возглавила группу стран — лидеров исследования. Результаты 15-летних российских учащихся в исследовании PISA по грамотности чтения существенно ниже среднего показателя по странам ОЭСР [Там же]. Этот результат был получен четырежды (2000, 2003, 2006, 2009), но главное для нас не рейтинговые показатели, а динамика наших собственных результатов. Увы, между 2000 и 2009 г. в состоянии читательской грамотности российских школьников не изменилось ничего.
В связи со свидетельством острого неблагополучия отечественной школы, представленным тестом PISA, принято пенять на дурное управление образованием. Мол, во всем виноваты управленцы, это они не извлекли уроков из участия России в международных сравнительных исследованиях, которые помогают сопоставить наши представления об образовательных целях и результатах с представлениями мирового сообщества, осознать достоинства и болевые точки нашей системы образования. Однако такое направление мысли непродуктивно. Во-первых, во всем упрекать начальство — известный способ оправдывать собственное энергичное топтание на месте. Во-вторых, такие упреки не вполне справедливы. Новые стандарты образования зафиксировали (пусть непоследовательно и во многом декларативно) появление новых ценностных ориентиров отечественного образования. Не без влияния международных мониторингов российская школа присягнула на верность компетентностному подходу. Это значит, что, по крайней мере на словах, российское педагогическое сообщество признало такие образовательные результаты, как умение учиться, результативно действовать совместно с другими людьми, выражать собственное мнение (а значит, иметь таковое), не менее важным итогом школьной жизни, чем сумма знаний и умений. Введение ЕГЭ и ГИА свидетельствует о появлении еще одной ценности — культуры объективных измерений результатов образования.
Мы — авторы этой статьи — несколько лет «топчемся» вокруг вопроса о том, почему возникает впечатляющий разрыв в грамотности чтения в отечественной начальной и основной школе, зафиксированный в исследованиях PIRLS и PISA. За это время был проверен ряд гипотез, которые могли бы объяснить этот разрыв.
125
Теоретические и прикладные исследования
Л
Гипотеза 1. Тесты PIRLS и PISA имеют разные предметы измерения, поэтому их результаты нельзя сравнивать.
Мы сопоставили представления о целях и задачах чтения, которые в свернутом виде представлены в определениях читательской грамотности, данных авторами PIRLS4 и PISA5, и пришли к выводу, что с помощью тестов PIRLS и PISA измеряются чрезвычайно близкие предметы. Оба теста пытаются схватить практическую, действенную, функциональную сторону любого умения, приобретаемого в школе, в том числе и умения понимать прочитанное и использовать его при решении собственных задач [Цукерман, Ковалева, Кузнецова, 2007].
Мы сопоставили также и представления авторов PIRLS и PISA о строении читательской деятельности6, воплощенные в структуре читательских умений, измеряемых тестами. В тесте PISA созданы три шкалы для независимого измерения разных читательских умений: 1) умение находить и извлекать информацию из текста; 2) умение интегрировать (связывать в единую картину) и интерпретировать (прояснять для самого себя) сообщения текста; 3) умение размышлять о тексте и оценивать его с собственной точки зрения7. Каждый диагностический вопрос теста маркирован указателем на то читательское умение, которое в наибольшей степени определяет успешность ответа на вопрос. В тесте PIRLS такие маркировки также существуют, но их не три, а четыре. Кроме читательских умений, выделенных в тесте PISA, для маленьких читателей выделено еще одно умение: формулировать прямые выводы, делать простейшие умозаключения на основе информации, извлеченной из текста [Mullis, Martin, Kennedy et al., 2009]. Это единственное разночтение в общем для двух тестов понимании состава читательской деятельности определено возрастными особенностями чтения 9-10-летних и 15-летних читателей. Для маленьких читателей минимальная мыслительная переработка буквальных значений, вычитанных из текста, безусловно, является отдельной работой; для более зрелых читателей эта работа
4
5
6
7
«Читательская грамотность — способность понимать и использовать письменную речь во всем разнообразии ее форм для целей, требуемых обществом и (или) ценных для индивида. На основе разнообразных текстов юные читатели конструируют собственные значения. Они читают, чтобы учиться, чтобы участвовать в школьных и внешкольных читательских сообществах и для удовольствия» [Mullis, Martin, Kennedy et al. P. 11].
«читательская грамотность — способность человека понимать и использовать письменные тексты, размышлять о них и заниматься чтением для того, чтобы достигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни» [OECD (2010). P. 23-25].
Примечательно, что авторы обоих тестов при спецификации предмета измерения ссылаются практически на один и тот же корпус теорий, описывающих целостный процесс чтения во всей его сложности — от распознавания букв до построения умственной репрезентации содержания текста.
OECD (2010). PISA 2009 Framework: Key competencies in reading, mathematics and science. Paris: OECD.
126
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
совершается так же автоматически, как и построение дословной репрезентации словесной ткани текста [Kintsch,1998].
Проведенный анализ теоретических представлений о чтении, лежащих в основе PIRLS и PISA, показал, что гипотеза 1 не подтверждается. Общность теоретических конструктов двух тестов позволяет сравнивать их результаты.
Гипотеза 2. При общем успехе работы над читательской грамотностью в начальной школе, подтвержденном высокими результатами PIRLS, в обучении чтению уже на этой ступени есть болевые точки, которые в основной школе переходят в хроническую болезнь, приводя к глубокому отставанию в читательской грамотности и к низким результатам в PISA.
Углубленный качественный анализ выполнения заданий PIRLS-2006 показал, что при общих высоких результатах, достигнутых российскими четвероклассниками, работа с информационными текстами представляет для них более серьезные трудности, чем понимание художественных текстов. При этом наибольший дефицит в понимании информационных текстов был обнаружен в базисных читательских умениях извлекать из текста информацию, сообщенную в явном виде, и делать на ее основе простейшие умозаключения [Кузнецова, 2009].
Этот результат объясняется практикой обучения чтению, что убедительно продемонстрировал анализ учебников, бытующих в сегодняшней начальной школе России. «Пособия по предмету “Окружающий мир”, являющиеся основным источником информационных текстов, не ориентированы на развитие и проверку читательских умений <...> Менее всего они обеспечивают развитие умения формулировать простые выводы на основе имеющихся фактов. Поиск информации, данной в явном виде, сведен к воспроизведению авторского текста. Процесс выявления нужной информации максимально упрощен» [Пинская, 2009. С. 160].
Если в начальной школе ученик испытывает некоторые затруднения с поиском нужной информации в тексте, с простейшими умозаключениями на основе найденной информации, можно ожидать усиления соответствующих проблем в основной школе с ее предметным обучением. Иными словами, гипотеза 2 требует дальнейшей разработки, но в рамках данного частного экспериментального исследования она останется на периферии.
Гипотеза 3. Основная причина провала России в тесте PISA лежит за пределами начальной школы.
Успех российских школьников в тесте PIRLS показал их высокую готовность к обучению с помощью текстов. Однако от этой готовности до развитого умения использовать текст как средство самообучения дистанция такая же, как от готовности шестилетки к школьному обучению до развитого умения учиться. Путь от готовности к обучению до умелости почти невозможно пройти самостоятельно, без помощи учителя. Поэтому правомочна гипотеза о том, что основная школа недостаточно помогает выпускникам
127
Теоретические и прикладные исследования
Л
2. Измерение читательской грамотности с помощью гибрида PIRLS и PISA
2.1. Характеристика диагностической методики «Тя-ни-толкай»
начальной школы, в высшей степени готовым научиться учиться с помощью текстов, стать компетентными читателями информационных текстов.
Для проверки этого предположения было предпринято пилотное сравнительное исследование читательской грамотности учеников 4-х и 6-х классов8. Эксперимент показал, что между читателями, которых разделяют два года школьного обучения, отсутствуют какие бы то ни было различия в понимании информационных текстов. Причем именно в эти два года резко возрастает нагрузка на обучение с использованием информационных текстов учебников.
Ошеломляющий эффект этого исследования был резко снижен техническими погрешностями примененной экспериментальной процедуры. Качество использованного измерителя читательской грамотности, характеристики сравниваемых выборок вызывали сомнения. Мы решили повторить и расширить это исследование, проведя его с соблюдением строгих требований к экспериментальной процедуре.
Чтобы постичь судьбу читательской грамотности в интервале между двумя ее измерениями — с помощью тестов PIRLS и PISA, — необходимо проследить динамику читательской грамотности 10-15-летних школьников. Мы решили в первом приближении оценить эту динамику по трем точкам: 4-й, 6-й и 9-й класс. 4-й класс привязан к измерению PIRLS, 9-й класс — к измерению PISA, 6-й выбран достаточно произвольно9.
Для чистоты задуманного измерения нужно было использовать один и тот же измеритель читательской грамотности, не отличающийся по своей сути от тестов PIRLS и PISA, которые близки между собой и концептуально, и методически. Иными словами, мы планировали предложить учащимся разных возрастных групп прочитать одни и те же тексты и ответить на одни и те же вопросы к ним.
За основу требуемого измерителя мы взяли тексты и вопросы из материалов PIRLS и PISA, открытых для научного и педагогического сообщества10. При отборе материалов мы учитывали потенциальный интерес, который текст PIRLS вызовет у учащихся 6-х и 9-х классов, и доступность текста PISA для учащихся 4-х, 6-х классов. В результате были выбраны два текста из открытого
8
9
10
Неожиданная победа: российские школьники читают лучше других / ред. И.Д. Фрумин. М.: Изд. дом ГУ-ВШЭ, 2010.
Теперь, получив аппроксимацию по трем точкам, мы видим необходимость в дальнейшем более пристально изучить состояние читательской грамотности учеников 5-х и 7-х классов.
В соответствии с принятыми в международных исследованиях правилами часть текстов и заданий к ним после проведения очередного цикла не подлежит разглашению, так как будет использоваться в следующем цикле, а часть текстов открывается, т.е. становится доступной для ознакомления. Со всеми открытыми материалами вы можете познакомиться на сайте www.centeroko.ru.
128
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
инструментария PIRLS — оба несплошные11 (информация в словесном виде чередуется с информацией, представленной в виде рисунков, схем, таблиц) — и два текста из инструментария PISA, в которых вся информация представлена вербально.
Мы сделали небольшие дополнения к текстам из инструментария PISA, выбранным для целей нашего эксперимента, чтобы адаптировать их к опыту и знаниям 10-летних читателей. Например, к одному тексту были добавлены рисунки, которые должны помочь четвероклассникам войти в тему сообщения, к обоим текстам были добавлены сноски, объясняющие значение слов, которые могут быть незнакомы учащимся 4-го и 6-го класса.
Новую диагностическую методику мы условно назвали «Тяни-толкай», акцентируя две ее особенности: 1) одноприродность подходов PIRLS и PISA к измерению читательской грамотности и 2) обращенность новой методики к двум возрастным группам читателей — к выпускникам начальной и основной школы. Наиболее сложной частью подготовки материалов для методики «Тяни-толкай» была разработка дополнительных вопросов к каждому тексту. Необходимость разработки новых вопросов продиктована двумя причинами. Во-первых, таковы статистические требования к надежности инструментария: только наличие значительного количества вопросов в тесте в целом и отдельно по каждой группе читательских умений позволяет проводить объективные измерения и делать на их основе обоснованные выводы. Во-вторых, мы стремились уравновесить степень сложности всего набора вопросов к текстам. Для этого к текстам PIRLS необходимо было добавить более сложные вопросы, требующие, например, умений работать с противоречивой или недоопределенной информацией, рассматривать проблему с разных точек зрения, прогнозировать другой вариант развития событий. К текстам PISA, напротив, необходимо было добавить более простые вопросы — на поиск информации, которая представлена в тексте в явном виде, на формулирование несложных выводов. В результате к исходному набору вопросов PIRLS и PISA (31 вопрос) были добавлены еще 20 новых вопросов. К добавленным вопросам были составлены руководства для оценивания детских ответов.
Для описания методики «Тяни-толкай» необходима классификация читательских умений, единая для вопросов PIRLS и PISA. Мы выбрали три шкалы PISA, а не четыре шкалы PIRLS. Дело в том, что при обработке и описании результатов PIRLS умение вычитывать информацию, сообщенную в тексте в явном виде, и умение делать на основе этой информации простые выводы и умозаключения сведены в единую шкалу. Кроме того, для статистического анализа результатов диагностики всегда предпочтительнее работать с большим количеством заданий. В табл. 1 представлены данные о количестве вопросов по каждой из групп читательских умений 11
11 По данным PISA, российские школьники имеют значительные трудности в понимании несплошных текстов.
129
Теоретические и прикладные исследования
Л
в методике «Тяни-толкай». Эти данные указывают на направление дальнейшей доработки нашей методики. для того чтобы она стала подлинным гибридом PIRLS и PISA, необходимо увеличить число вопросов, побуждающих читателя извлекать информацию из текста; в первую очередь из текстов PISA. Данные о соотношении исходных и добавленных вопросов по степени сложности приведены ниже при анализе результатов нашего эксперимента (табл. 3).
Таблица 1 Данные о количественном составе
вопросов методики «Тяни-толкай»
Характеристики методик Читательские умения
Извлекать информацию из текста и делать простые умозаключения Интегрировать и интерпретировать сообщения текста Размышлять о сообщениях текста и оценивать их
Распределение вопросов в PIRLS, % 50 30 20
Распределение вопросов в PISA, % 25 50 25
Количество вопросов методики «Тяни-толкай»
К четырем текстам 15 (29 %) 24 (47%) 12 (24 %)
К двум текстам PISA 6 8 6
К двум текстам PIRLS 9 16 6
Исходные вопросы 10 12 9
Добавленные вопросы 5 12 3
Максимальное число баллов за ответы на вопросы методики «Тяни-толкай»
К четырем текстам 16 (22%) 37 (51 %) 20 (27 %)
К двум текстам PISA 6 10 11
К двум текстам PIRLS 10 27 9
Исходные вопросы 11 18 14
Добавленные вопросы 5 19 6
Материалы к методике «Тяни-толкай» прошли проверку в ходе пилотного эксперимента, по результатам которого были внесены необходимые уточнения и правки. Для дальнейшей апробации выбранные тексты и вопросы к ним были распределены по четырем тетрадям таким образом, чтобы в каждую тетрадь вошло по два текста.
130
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
Для сбора контекстной информации, для выявления читательских привычек, предпочтений читателей разных возрастов, для обнаружения факторов, которые влияют на уровень читательской грамотности школьников, были составлены анкеты для учащихся и учителей. Здесь мы не будем их характеризовать, так как данные анкетирования не содержатся в данной статье.
Для того чтобы с помощью методики «Тяни-толкай» получить 2.2. Харак-достоверные сведения о динамике читательской грамотности уче- теристика ников основной школы, было очень важно определить те параме- выборки
тры, которым должна соответствовать выборка учащихся 4-х, 6-х __________
и 9-х классов. В нашем эксперименте были учтены следующие требования к выборке:
• соответствие стратификации выборки стратификации российской школы, принимая во внимание такие характеристики школ, как тип учебного заведения (основная общеобразовательная школа, средняя общеобразовательная школа), вид школы (общеобразовательная школа, лицей, интернат, гимназия, школа с углубленным изучением отдельных предметов), место ее расположения (тип населенного пункта);
• обязательное выполнение заданий каждой из четырех тетрадей не менее чем 250 учащимися в каждой из трех параллелей (250 х 4 х 3 = 3000).
Основываясь на данных многочисленных исследований, которые свидетельствуют о том, что одним из самых значимых параметров, определяющих характер выборки, является тип населенного пункта, именно его мы сделали ведущим при формировании выборки. В настоящее время в России 29 % всех учащихся основной школы учатся в сельской местности, а 71 % — в городе; 65 % школ расположено в сельской местности, 35 % — в городе. В выбранном для проведения исследования регионе — в тамбовской области —
49 % учащихся учатся в селе, 51 % — в городе, при этом сельских школ 69 %, а городских — 31 %.
Взяв за основу соотношение учащихся сельских и городских школ и учитывая, что в каждой из трех параллелей должно участвовать не менее 1000 человек (250 человек на каждую тетрадь), в апробацию в каждой параллели необходимо было включить примерно 290 человек из сельских школ и 710 — из городских. В результате удалось выбрать 30 школ — 15 сельских и 15 городских.
Среди них было 23 средние общеобразовательные школы, три основные общеобразовательные школы, один лицей, одна гимназия и две школы с углубленным изучением отдельных предметов.
В каждой из выбранных школ работу выполняли учащиеся трех параллелей: 4-х, 6-х и 9-х классов. В исследовании приняли участие 3110 учащихся, из них 907 учащихся 4-х классов, 1069 учащихся 6-х классов, 1134 учащихся 9-х классов. В целом в выборке каждой параллели было сохранено соотношение учащихся городских и сельских школ, свойственное российской демографии.
131
Теоретические и прикладные исследования
Л
Тамбовская область выбрана для нашего исследования еще и потому, что ее результаты по различным измерениям, например ЕГЭ, ГИА и другим мониторинговым исследованиям, близки к средним общероссийским.
2.3. Экспери- При разработке рекомендаций по проведению исследования
ментальная в школах важно было определить количество времени на выпол-
процедура нение работы. Безусловно, фактор времени не является опре-
______________ деляющим при оценке читательской грамотности, поэтому было
решено зарезервировать два урока, чтобы гарантировать самым медлительным учащимся возможность справиться с работой. При этом в инструкции для учащихся сообщалось: «Главная цель этого исследования — узнать, как вы умеете читать тексты разных видов, насколько хорошо вы умеете выполнять задания, показывающие ваше понимание прочитанного, можете ли вы высказывать свое мнение о прочитанном. При выполнении данной работы важна не скорость, а качество. Времени на выполнения будет достаточно самым медлительным ученикам». А учителей, проводящих работу, предупреждали, что не стоит настаивать на том, чтобы все учащиеся оставались в классе полные два урока, они могут покинуть класс, как только справятся со всей работой.
Исследование было проведено в мае 2010 г. Организационную часть обеспечивало Тамбовское областное государственное учреждение «Центр экспертизы образовательной деятельности», имеющее огромный опыт проведения работ, связанных с оценкой качества образования, ответственное за проведение ЕГЭ и ГИА, федеральных и региональных мониторингов. Использовалась организационная модель, обеспечивающая максимальную объективность. Работа осуществлялась в соответствии с разработанным «руководством по проведению». в момент проведения исследования в каждом классе находились два педагога, не преподающие в данном классе. Проводившие работу педагоги фиксировали: 1) время, за которое выполнили работу учащиеся, сдавшие тетради первыми; 2) время, за которое выполнили работу учащиеся, сдавшие тетради последними; 3) время, понадобившееся на выполнение работы основному составу класса. Заметим, что среднее время, которое потребовалось учащимся на выполнение работы, практически не зависело от их возраста.
Все работы учащихся были переданы в Центр экспертизы. Для проверки ответов на открытые вопросы была создана группа экспертов. В ее состав вошли учителя русского языка и литературы, имеющие опыт работы экспертами при проверке результатов ЕГЭ. Перед началом нашего эксперимента с данной группой экспертов было проведено занятие, на котором они познакомились со спецификой исследования, с разработанными «рекомендациями по оцениванию заданий». В ходе оценивания открытых заданий совместно с разработчиками рекомендаций принимались решения по сложным случаям: если ученик давал
132
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
неожиданный ответ, не предусмотренный в руководстве, или если ответ был пограничным и эксперту трудно было принять решение о том, какой именно балл поставить за этот ответ. В целом эксперты отметили хорошее качество «Рекомендаций по оцениванию», благодаря которым количество спорных случаев было минимальным. Для ввода данных была разработана специальная программа.
Статистическая обработка данных проводилась в Центре оценки качества образования УРАО с помощью программы ConQuest. Надежность теста (по коэффициенту альфа Кронбаха) для 4-го класса равна 0,80, для 6-го класса — 0,82, для 9-го класса — 0,83. Средняя дифференцирующая способность вопросов диагностической методики «Тяни-толкай» для отдельных текстов находится в пределах от 0,37 до 0,49 (см. табл. 2, 3). Для ряда вопросов значение дифференцирующей способности не достигает порогового уровня 0,3. Среди добавленных вопросов таковых вдвое меньше, чем среди якорных, основных вопросов (6 % против 13 %). Усовершенствование добавленных вопросов с низкой дифференцирующей способностью — еще одно направление доработки методики «Тяни-толкай».
Здравый смысл и вера в то, что читательская грамотность развивается прежде всего педагогическими средствами, подсказывают ожидаемый результат измерения читательской грамотности учеников 4-х, 6-х и 9-х классов: 6-е классы должны занимать промежуточное положение между 4-ми и 9-ми. Основание для такого ожидания — содержание обучения в 5-м и 6-м классах отечественной школы. Именно в эти два года в учебный обиход школьников входит систематическая и регулярная работа по учебникам, обучение с помощью информационных текстов становится ежедневным событием школьной жизни. Ученики регулярно получают домашние задания «прочти параграф учебника, ответь на вопросы к текстам». Выполнение таких заданий контролируется учителями из урока в урок. основное назначение текстов учебников — напомнить ученикам содержание предыдущего урока и дать дополнительную информацию по теме урока, а иногда и дополнительные линии размышления о содержании урока. Основное назначение вопросов к текстам учебника — помочь ученикам проверить, поняли ли они содержание урока, в значительной части повторенное в тексте учебника.
Диагностическая методика «Тяни-толкай» направлена на измерение понимания текстов, лишь отчасти напоминающих тексты из школьных учебников. Поэтому результаты этих измерений не могут быть интерпретированы как прямой результат школьного обучения работе с учебниками. Тем не менее в практике учеников 5-6-х классов нет другого целенаправленного (нестихийного) источника развития грамотности чтения информационных текстов, кроме школьных курсов, опирающихся на работу с учебниками.
3. Результаты измерения читательской грамотности с помощью методики «Тяни-толкай»
133
Теоретические и прикладные исследования
Л
Если в школе обучение работе с информационными текстами имеет не узкопредметный, а достаточно универсальный характер, т. е. формирует общие способы читательской деятельности, то разумно ожидать, что шестиклассники понимают тексты лучше, чем четвероклассники, и занимают промежуточное положение между учениками 9-х и 4-х классов.
Общий результат измерения читательской грамотности 10-15-летних школьников с помощью методики «Тяни-толкай» представлен в табл. 2. Указан средний балл (в процентах от максимально возможного балла), полученный учениками за ответы на 51 вопрос к четырем текстам методики.
Таблица 2 Общая успешность ответов на вопросы
к текстам методики «Тяни-толкай»
Четыре текста Два текста PIRLS Два текста PISA Два текста PIRLS Два текста PISA
В поисках еды Вдоль реки Граф- фити Грипп
Число вопросов 51 31 20 16 15 10 10
4-й класс 54 61 48 54 66 48 49
6-й класс 55 63 49 56 68 50 47
9-й класс 66 70 62 64 75 64 61
Разница между 6-м и 4-м классом 0,9 2 0,1 2,2 1,5 1,9 -1,9
Разница между 9-м и 6-м классом 10,7* 6,9* 13,9* 7,7* 6,7* 14,5* 13,4*
Разница между 9-м и 4-м классом 11,6* 8,9* 14* 9,9* 8,2* 16,4* 11,5*
Средняя дифференцирующая способность вопросов
4-й класс 0,41 0,42 0,40 0,42 0,41 0,43 0,37
6-й класс 0,43 0,44 0,42 0,41 0,46 0,44 0,40
9-й класс 0,44 0,42 0,46 0,39 0,44 0,49 0,43
* По критерию с2 различия значимы с вероятностью не менее 99 %.
Данные, представленные в табл. 2, показывают, что наши ожидания не оправдались: по критерию «понимание информационных текстов» 6-е классы не занимают промежуточного положения между 4-ми и 9-ми классами. Шестиклассники не обнаружили никаких преимуществ перед четвероклассниками ни в понимании «детских» текстов PIRLS, ни в понимании «взрослых» текстов PISA. 9-е классы значимо отличаются и от 4-х, и от 6-х, причем в понимании «детских» текстов PIRLS различия меньше, чем в понимании «взрослых» текстов PISA.
134
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
Однако этот суммарный, наиболее общий результат диагностики требует более детального, аналитического рассмотрения.
Цель дальнейшего анализа — поиск тенденций, указывающих на появление ожидаемого нового качества читательской грамотности у шестиклассников.
Первой линией анализа общего суммарного результата диагностики стало расчленение всего массива диагностических вопросов на две группы: исходные вопросы тестов PIRLS и PISA и вопросы, добавленных нами при разработке методики «Тяни-толкай».
Результаты такого анализа представлены в табл. 3. Указан средний балл (в процентах от максимально возможного балла), полученный учениками за ответы на каждую группу вопросов.
Таблица 3 Успешность ответов на исходные вопросы тестов PIRLS
и PISA и на добавленные вопросы методики «Тяни-толкай»
Исходные вопросы Добавленные вопросы
Четыре текста Два текста PIRLS Два текста PISA Четыре текста Два текста PIRLS Два текста PISA
Число вопросов 31 22 9 20 9 11
4-й класс 54 71 34 55 43 62
6-й класс 55 72 36 55 47 60
9-й класс 65 79 50 67 54 74
Разница между 6-м и 4-м классом 0,9 1,1 1,4 0,7 3,7 -1,2
Разница между 9-м и 6-м классом 10,4* 6,6* 14,4* 11,2* 7,4* 13,6*
Разница между 9-м и 4-м классом 11,4* 7,7* 15,7* 12* 11,2* 12,4*
Средняя дифференцирующая способность вопросов
4-й класс 0,40 0,40 0,39 0,42 0,45 0,40
6-й класс 0,42 0,42 0,42 0,44 0,47 0,42
9-й класс 0,44 0,40 0,49 0,45 0,47 0,44
* По критерию с2 различия значимы с вероятностью не менее 99 %.
Расчленив вопросы методики «Тяни-толкай» на четыре подгруппы, мы не смогли обнаружить ту подгруппу вопросов, в которой шестиклассники имеют преимущество перед четвероклассниками. Однако проделанный анализ позволил оценить наш измерительный инструмент. Данные, представленные в табл. 3, показывают, что методика «Тяни-толкай» соответствует исходному замыслу и представляет собой измеритель читательской грамотности, позволяющий перекинуть мостик между «детскими» вопросами PIRLS и «взрослыми» вопросами PISA. Мы видим, что
135
Теоретические и прикладные исследования
Л
добавленные вопросы к текстам PIRLS существенно труднее исходных вопросов, добавленные вопросы к текстам PISA существенно легче исходных вопросов. При этом в целом исходные и добавленные вопросы сбалансированы по трудности.
Второй линией анализа общего результата диагностики стало расчленение всего массива диагностических вопросов по другому основанию — по типу читательских умений, к которым адресованы диагностические вопросы. Результаты такого анализа представлены на рис. 1.
Рис. 1. Успешность ответов на вопросы методики «Тяни-
толкай», измеряющие разные читательские умения
Данные, представленные на рис. 1, особенно убедительно демонстрируют отсутствие различий между четвероклассниками и шестиклассниками в способности понимать информационные тексты. Результаты девятиклассников значимо превосходят результаты 4-х и 6-х классов.
Рисунок 2 позволяет всмотреться в этот результат при большем увеличении. При этом обнаруживается любопытная диспропорция в сформированности отдельных читательских умений у девятиклассников. Умение извлекать информацию из текста в меньшей степени дифференцирует выпускников начальной и основной школы, чем два других читательских умения.
Напомним, что три читательских умения разительно различаются по своей психологической природе и соответственно по способам их развития средствами образования. Умение извлекать информацию из текста наиболее тесно связано с работой воображения и читательской установкой на мысленное воссоздание
136
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
Рис. 2. Разница в успешности ответов на вопросы методики
«Тяни-толкай», измеряющие разные читательские умения
□ извлекать информацию из текста
■ интегрировать и интерпретировать сообщения текста
□ размышлять о сообщениях текста и оценивать их
S.
-2%
-4%
разница между 6 и 4 классом разница между 9 и 4 классом
реалий, описанных в тексте. Умение интегрировать и интерпретировать сообщения текста опирается в первую очередь на мыслительные способности читателя. При связывании сообщений текста в целостную картину и при прояснении их значений значительная нагрузка ложится на рефлексивные способности читателя. Работа рефлексии — сигнализировать о неясности или недоопределенно-сти того или иного сообщения текста. Умение размышлять о сообщениях текста связано в первую очередь с такими личностными особенностями читателя, как критичность и независимость, с привычкой любое суждение погружать в контекст собственного опыта, знаний и ценностей и оценивать авторское мнение со своей точки зрения.
Измеряя читательские умения учеников 4-х, 6-х и 9-х классов, мы обнаружили, что умения, опирающиеся на развитый интеллект, формируются с годами более успешно, чем базисные, исходные читательские умения, помогающие читателю восстановить картину жизни, описанную в тексте. Иными словами, девятиклассники по сравнению с четвероклассниками преуспевают в умственной переработке сообщений текста. Что касается умения извлекать эти сообщения из текста, то здесь темп ожидаемого роста замедляется. Судя по нашим экспериментальным данным, отставание в первичном читательском умении извлекать информацию из текста
137
Теоретические и прикладные исследования
Л
начинается в 5-6-м классе. Судя по данным М. И. Кузнецовой, это отставание начинается еще раньше — в начальной школе [Кузнецова, 2009].
Было бы удивительно, если бы 14-15-летние люди не обнаруживали интеллектуальных преимуществ перед людьми 9-10-летними. Эти преимущества наблюдаются даже там, где между 10 и 15 годами человек не посещает школу [Cole, Cole, 1993]. Иными словами, неизвестно, можем ли мы приписать рост читательских умений, наблюдаемый в нашем эксперименте, фактору школьного обучения вообще и обучения чтению в частности.
Расслоим данные, представленные на рис. 2, на две группы: вопросы к текстам PIRLS и вопросы к текстам PISA. Напомним, что тексты PIRLS подбирались с учетом жизненного опыта 10-летних школьников, тогда как тексты PISA отражают ситуации из юношеской и взрослой жизни. И те и другие тексты не являются узковозрастными, они не требуют специальных академических знаний, отличаются лексической простотой и в то же время общечеловеческой доступностью, что позволяет читателям любого возраста воспринимать сообщения этих текстов в меру собственной читательской и житейской искушенности.
на рис. 3 представлены данные, повторяющие те, что уже обсуждались: измеренные методикой «Тяни-толкай» показатели читательской грамотности учеников 4-х и 6-х классов неразличимы,
Рис. 3. Разница в успешности ответов на вопросы методики
«Тяни-толкай», измеряющие разные читательские умения при ответе на вопросы к текстам PIRLS и PISA
20%
□ разница между 6 и 4 классом ■ разница между 9 и 4 классом
извлекать
информацию из текста
интегрировать и интерпретировать сообщения тексте
размышлять о сообщениях текста и оценивать их
138
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
9-е классы значимо опережают 4-е и 6-е по всем показателям. Наиболее разительно 9-е классы отличаются от 4-х по умению интегрировать и интерпретировать сообщения текста. Это различие более выражено при работе со «взрослыми» текстами PISA. На материале этих же текстов проявляется и возросшее умение девятиклассников размышлять о сообщениях текста и оценивать их. По умению извлекать информацию из текстов (особенно из более простых текстов PIRLS) девятиклассники от четвероклассников отличаются не столь выразительно. Падение этого базисного читательского умения в 6-х классах становится особенно заметным при работе со «взрослыми» текстами PISA.
Еще один способ углубленного анализа результатов диагностики — расслоение выборки на группы по степени успешности. По общему баллу, полученному каждым учеником за ответы на вопросы методики «Тяни-толкай», мы разбили всех наших испытуемых на следующие три группы:
• четверть выборки с самыми высокими баллами общей успешности, или 75-й процентиль;
• четверть выборки с самыми низкими баллами общей успешности, или 25-й процентиль;
• все остальные школьники, или половина выборки со средней успешностью.
Рис. 4. Успешность ответов на вопросы методики «Тяни-толкай», измеряющие разные читательские умения, в трех группах учеников
139
Теоретические и прикладные исследования
Л
Рис. 5. Разница в успешности ответов на вопросы
методики «Тяни-толкай», измеряющие разные читательские умения, в трех группах учеников
На рис. 4 и 5 представлены результаты такого анализа.
Разделение всей выборки на три группы, различающиеся по общей успешности в ответах на вопросы к текстам методики «Тяни-толкай», подтверждает выводы предыдущих этапов анализа экспериментальных данных:
• шестиклассники ни в чем не опережают четвероклассников;
• девятиклассники демонстрируют значимо более высокий уровень читательской грамотности по всем показателям, измеряемым нашей методикой;
• умение извлекать информацию из текста — ахиллесова пята шестиклассников: по этому показателю три четверти выборки 6-х классов уступают более младшим читателям;
• умение извлекать информацию из текста в меньшей степени различает учеников 4-х и 9-х классов, чем два других, более интеллектуализированных читательских умения.
140
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
Последняя наша попытка обнаружить точки роста читательской грамотности шестиклассников — проанализировать вопросы, в которых 6-е классы имеют преимущество перед 4-ми. Количество таких вопросов представлено в табл. 4. Классификация была произведена на основе оценки статистической значимости различий ответов четвероклассников и шестиклассников на каждый вопрос методики «Тяни-толкай». Оценка произведена по критерию с2 при p > 0,05.
Таблица 4 Классификация вопросов диагностической
методики «Тяни-толкай» (число вопросов, в скобках — % от общего числа вопросов на каждое читательское умение)
Сравнение результатов 4-го и 6-го классов Читательские умения Всего вопросов
Извлекать информацию из текста Интегрировать и интерпретировать сообщения текста Размышлять о сообщениях текста и оценивать их
4 = 6 10 (67 %) 16 (67 %) 8 (67 %) 34 (67 %)
4 < 6 1 (7 %) 6 (25 %) 3 (25 %) 10 (20 %)
4 > 6 4 (27 %) 2 (8 %) 1 (8 %) 7 (14 %)
Всего вопросов 15 (100 %) 24 (100 %) 12 (100 %) 51 (100 %)
Данные, представленные в табл. 4, говорят о том, что, если преимущества шестиклассников существуют, то их следует искать в области интеллектуализированных читательских умений — интегрировать и интерпретировать сообщения текста, размышлять о них и оценивать их с собственной точки зрения. описанные выше методы анализа экспериментальных результатов не помогли нам выявить преимущества шестиклассников, поэтому мы попробовали повернуть полученные нами данные под новым углом. На рис. 6 представлены гистограммы, описывающие характер распределения уровней сформированности умения интегрировать и интерпретировать сообщения текста в выборках 4-х и 6-х классов, поскольку именно по этой группе читательских умений выявлено максимальное преимущество шестиклассников. Высоким уровнем сформированности умения здесь назван интервал между 80 и 100 % успешности в ответах на вопросы методики «Тяни-толкай», направленные на диагностику умения интегрировать и интерпретировать сообщения; уровень выше среднего соответствует 79-60 %-й успешности; средний уровень — 59-40 %-й успешности; уровень ниже среднего — 39-20 %-й успешности; низкий уровень — 19-0 %-й.
Мы видим, что между 4-м и 6-м годом обучения происходит выразительное расслоение читателей на две группы:
• те, кто в основном успешен в решении читательской задачи соединить отдельные части текстовой информации в единое целое и прояснить их себе самому (уровни высокий и выше среднего);
• те, кто в основном неуспешен в решении этой задачи (уровни низкий и ниже среднего).
141
Теоретические и прикладные исследования
Л
Рис. 6. Распределение учеников 4-х и 6-х классов по уровням
сформированности умения интегрировать и интерпретировать сообщения четырех информационных текстов методики «Тяни-толкай»
уровни
уровни
Число успешных читателей практически не меняется за два года обучения: 39 % четвероклассников и 41% шестиклассников, отвечая на вопросы, измеряющие умение интегрировать и интерпретировать сообщения, получили от 60 до 100 % баллов. Число неуспешных читателей (получивших от 39 до 0 % баллов) между 4-м и 6-м классом выросло значимо: от 36 до 43 %.
Этот результат парадоксален. С одной стороны, руководства ко всем тестам IQ сообщают о том, что между 10 и 12 годами та интеллектуальная составляющая, которая считается относительно независимой от обучения, значимо растет. С другой стороны, растет число шестиклассников, которые как будто не используют свой крепнущий ум для понимания сообщений текстов, по крайней мере тех текстов, которые они читают за партой.
Мы предположили, что вопросы, в которых шестиклассники показали значимо лучшие результаты в интеграции и интерпретации сообщений текстов, помогут обнаружить те грани читательской работы, в которых скрыты резервы роста читательской грамотности шестиклассников. Таких вопросов шесть, и у них действительно
142
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
есть общая характеристика: все они предлагают читателю рассмотреть описываемое явление с определенной точки зрения. Проиллюстрируем это положение на двух примерах.
Первый пример взят из хрестоматийного текста PISA «Граффити». Напомним, что этот текст состоит из двух писем, автор одного из них возмущается таким явлением, как граффити, автор другого защищает это явление. Вопрос, на который шестиклассники в нашем эксперименте ответили лучше, чем четвероклассники, относится ко второму письму. Приведем его целиком:
У людей разные вкусы. Общество перенасыщено информацией и рекламой. Знаки торговых компаний, названия магазинов. Большие навязчивые плакаты по обеим сторонам улиц. Приемлемо ли все это? В основном да. А приемлемы ли граффити? Некоторые говорят да, некоторые — нет.
Кто платит за эти граффити? А кто в конечном итоге платит за рекламу? Правильно. Потребитель.
А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах? Не просто ли это вариант общения, например, ваше собственное имя, названия партий или большие произведения искусств на улице?
Только вспомните о полосатой и клетчатой одежде, появившейся в магазинах несколько лет назад. И о лыжных костюмах. Модели и цвета были скопированы с разрисованных бетонных стен. Довольно забавно, что и эти модели, и цвета принимаются сегодня в обществе, восхищают, а граффити в том же стиле считаются ужасными.
Да, трудные времена настали для искусства.
Софья
Вопрос № 7. Почему Софья говорит о рекламе в своем письме о граффити?
При оценке ответа на этот вопрос ставится два балла (ответ принимается полностью), если в ответе присутствует указание на сравнение/сопоставление рекламы и граффити и приведено развернутое объяснение основания сравнения/сопоставления: а) никто не спрашивает разрешения на размещение рекламы, следовательно, и авторам граффити не обязательно спрашивать разрешения на размещение своих произведений/у авторов граффити есть такое же право размещать свои произведения, как у рекламных агентств — размещать свою рекламу; б) налогоплательщики в конечном счете платят за рекламу, так же они платят и за перекрашивание стен после закрашивания граффити; в) за рекламу нужно платить, возможно, авторы граффити тоже могут платить за право размещать свои произведения.
Примеры ответов
Софья считает, что уличные граффити так же приемлемы, как рекламные плакаты.
143
Теоретические и прикладные исследования
Л
Софья считает, что рекламные щиты очень навязчивы, и никто из жителей не давал права рекламщикам размещать рекламу, где попало. То же самое с граффити: художники не должны получать разрешения, чтобы рисовать на зданиях.
Софья считает, что граффити ничем не хуже рекламы, поэтому, раз рекламные щиты висят на улице, надо разрешить граффити.
При оценке ответа на этот вопрос ставится один балл (ответ принимается частично), если в ответе присутствует указание на сравнение/сопоставление между граффити и рекламой без развернутого разъяснения основания сравнения/сопоставления.
Примеры ответов
Потому что Софья говорит о граффити как о рекламе.
Она считает, что граффити во многом схожи с рекламой.
Она говорит, что реклама — это легальная форма граффити.
Потому что рекламные щиты похожи на граффити. (Минимальный приемлемый ответ. Признается сходство, но не указывается, в чем оно состоит.)
Ответ не принимается (ставится ноль баллов), если дан несоответствующий, неясный, неправдоподобный или неуместный ответ.
Примеры ответов
Это способ выражения ее точки зрения.
Потому что очень много рекламы на стенах развешано.
Художники изображают рисунки, и некоторые рекламодатели берут эти идеи для рекламы.
Потому что люди надевают на себя одежду с рисунками под граффити.
В табл. 5 приведены результаты ответов на этот вопрос в нашем эксперименте. Эти цифры говорят о том, что понимание логики автора (в данном случае автора письма) дается шестиклассникам несколько легче, чем четвероклассникам.
Таблица 5 Доля учеников (%), получивших те или
иные оценки при ответе на вопрос «Почему Софья говорит о рекламе в своем письме о граффити?»
Оценка ответа ученика 4-й класс (449 учеников) 6-й класс (527 учеников)
2 балла * 13 20
1 балл 28 28
0 баллов * 47 40
Нет ответа 12 12
Дифференцирующая способность вопроса 0,50 0,58
* По критерию с2 различия значимы с вероятностью не менее 95 %.
Второй пример взят из текста PIRLS «По маршруту вдоль реки». Этот текст представляет собой рекламный буклет фирмы проката
144
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
велосипедов. Интересующий нас вопрос адресован к разделу текста, рекламирующему велосипедную прогулку.
Маршрут вдоль реки Норд
Маршрут вдоль реки Норд проходит по ровной местности, по которой легко ехать на велосипеде.
В пути можно увидеть много интересного.
Начните с Алтинбурга, двигаясь по восточному берегу реки. Пересеките реку по мосту у Алтинбургского причала.
Вы попадете в Прибрежный парк. Примерно через 2 км после начала пути вы доберетесь до кафе «Закат». Для того чтобы продолжить путешествие, вам необходимо двигаться по западному берегу реки (см. карту).
Затем вы проедете Заповедник.
Вы можете остановиться и посетить исторический порт Бэнхейм, сев на маленький паром, курсирующий через реку Норд.
Путешествие продолжается, и вы попадаете в дикий уголок природы, полный птиц, который находится на пути к Гостинице у реки.
Чуть дальше — и вы попадете в Грюндорф.
Здесь можно осмотреть окрестности Грюндорфского замка и увидеть оленей с близкого расстояния.
Вот и конец пути.
Вопрос № 13 (добавленный). Марк живет в городе Бэнхейм. К нему в гости приехали друзья, и он хочет угостить их восхитительной рыбой, которой славится кафе «Закат». Сколько километров предстоит проехать Марку и его друзьям на велосипедах от Бэнхейма до кафе «Закат»?
Варианты правильного ответа, за который ученик получает один балл:
• больше 2 км;
• 2,5 км;
• меньше 3 км;
• 3 км.
Главная трудность при ответе на этот вопрос — понять, что начало маршрута и направление движения Марка и его друзей не совпадает с описанным в рекламном буклете. Для ответа на этот вопрос необходимо посмотреть на карту маршрута вдоль реки по-новому, не так, как предложено в тексте. Такая перемена точки и направления отсчета затруднила больше половины четвероклассников (табл. 6). При этом чтение карты не вызвало затруднений у учеников 4-х классов, еще недостаточно знакомых с географией. Об этом говорит ответ на предыдущий
145
Теоретические и прикладные исследования
Л
вопрос, в котором между 4-ми и 6-ми классами не наблюдалось никаких различий.
Вопрос № 12 (добавленный). Опиши маршрут Марка и его друзей как можно более подробно. 1. В каком направлении они должны двигаться? 2. На чем они будут передвигаться? 3. Что они увидят по дороге?
Таблица 6 Доля учеников (%), получивших те или иные оценки при
ответе на вопрос «Сколько километров предстоит проехать Марку..?»
Оценка ответа ученика Вопрос № 13 Вопрос № 12
4-й класс (235 учеников) 6-й класс (276 учеников) 4-й класс (235 учеников) 6-й класс (276 учеников)
Ответ принимается 45 58 82 82
Ответ не принимается 49 41 14 15
Нет ответа 6 1 4 3
Дифференцирующая способность вопроса 0,39 0,28 0,60 0,60
Затемнениями выделены различия между 4-м и 6-м классом, которые по критерию с2 значимы с вероятностью не менее 99 %.
Мы рассмотрели немногочисленные вопросы к текстам методики «Тяни-толкай», на которые шестиклассники ответили лучше, чем четвероклассники. В большинстве случаев эти вопросы так или иначе связаны с точкой зрения, позицией, мнением, внутренней логикой пишущего, не совпадающей с логикой читающего. Однако далеко не все вопросы, для ответа на которые надо учитывать чью бы то ни было точку зрения, вызывают у четвероклассников большие трудности, чем у шестиклассников, которые, согласно всем учебникам возрастной психологии, должны обладать большей способностью к позиционному мышлению.
Иными словами, наш поиск точек роста читательской грамотности шестиклассников, их преимуществ по сравнению с четвероклассниками зашел в тупик. Нам не удалось найти ни одного явного преимущества шестиклассников по сравнению с четвероклассниками в понимании информационных текстов. Разумеется, инструмент для подобного поиска следует усовершенствовать: наша методика измерения читательской грамотности далека от совершенства (см. табл. 1). Разумеется, при расширении экспериментальной выборки12 нам неминуемо встретятся школы (а возможно, и регионы), где шестиклассники понимают прочитанное лучше четвероклассников. Однако, несмотря на очевидную необходимость дальнейших исследований, в нашем эксперименте зафиксирован факт, которые не может оставаться чисто академическим достоянием.
12 Напомним, что мы выбрали регион, в котором образовательные результаты близки к средним общероссийским.
146
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
Л
Готовность к переходу на каждую следующую ступень образо- Заключение
вания существенно зависит от читательской грамотности учащих- ______________
ся. В становлении читательской грамотности принято выделять следующие этапы:
• обучение чтению, которое, по мнению мирового образовательного сообщества, в основном заканчивается к концу 4-го года обучения. В России этот этап совпадает с начальной ступенью школы. Завершенность этого этапа и готовность школьников к переходу на следующий уровень использования письменных текстов оценивается с помощью теста PIRLS;
• чтение для обучения, которое должно заканчиваться к тому времени, когда молодым людям предстоит выбрать собственную траекторию перехода от обязательного школьного обучения к следующей ступени образования — профессионального или общего. В России этот этап соотносится с основной ступенью школы. Завершенность этого этапа становления читательской грамотности и готовность школьников к переходу на следующий этап оценивается с помощью теста PISA;
• чтение для жизни, т. е. для решения широкого круга бытовых, социальных, профессиональных и образовательных задач, как необходимый элемент пожизненного саморазвития и успешной самореализации в современном мире.
Исходя из того что российские школьники демонстрируют высочайшую готовность к первому образовательному переходу (данные PIRLS) и низкую готовность к следующему (данные PISA), мы предположили, что на этапе основной школы (между 5-м и 9-м классом) происходят какие-то неполадки с образовательными процессами, ответственными за становление читательской грамотности учащихся. Напомним, что именно в этом интервале лавинообразно нарастает учебная работа, опирающаяся на школьные учебники.
С помощью методики, построенной как гибрид тестов PIRLS и PISA, мы измерили читательскую грамотность учеников 4-х, 6-х и 9-х классов и установили два факта:
1) 6-й класс не отличается от 4-го по уровню понимания информационных текстов;
2) 9-й класс значимо отличается и от 4-го, и от 6-го, однако накопление читательской грамотности за пять лет обучения весьма скромно: от 5 до 16 % по отдельным показателям (см. рис. 3 и 5).
Чтобы осмыслить такую динамику становления читательской грамотности в основной школе, сравним ее с начальной школой.
Если бы к концу второго года обучения школьники демонстрировали такую же технику чтения, как и при поступлении в школу, если бы к концу начальной школы их техника чтения выросла бы на 16 %, мы бы признали такое положение дел катастрофическим...
Самое досадное, что мы выяснили: два года обучения в российской основной школе (5-й и 6-й классы) ничего не изменяют
147
Теоретические и прикладные исследования
Л
в способности школьников понимать информационные тексты. Несомненно, первое, что приходит в голову при размышлении об этом неприятном факте, — это психологические характеристики 12-летних подростков. Их уход от любой деятельности, ассоциированной со школой, внутреннее сопротивление всякому школьному насилию, в частности нашему тестированию, необходимость которого неочевидна для самих шестиклассников, отсутствие элементарной лояльности по отношению к взрослым, наделенным школьной властью, — все эти узнаваемые проявления школьного поведения шестиклассников не могли не повлиять на результаты нашей диагностики.
Безусловно, много темных сторон школьной жизни шестиклассников можно — и выгодно — списывать на пубертат. Тем не менее при разговоре о становлении читательской грамотности мы не вправе недооценивать собственно учебные факторы, и прежде всего обучение с опорой на учебники. Если за два года такого обучения ничего не меняется в уровне читательской грамотности учеников, то, может быть, что-то в корне неладно с самими учебниками и с тем, как они используются в учебном процессе?! Задумаемся, что происходит, к примеру, на уроках истории и географии. Пятиклассники приступают к изучению этих учебных предметов. Приступают ли они одновременно к обучению чтению исторических и географических текстов, которые в отличие от текстов, бытующих в начальной школе, далеко выходят за рамки знаний и опыта 10-летних читателей и направлены на расширение этого опыта? А если нет, то каким образом у школьников складываются общие способы и практика извлечения информации из текстов, связывания единиц информации в единую картину, размышления о сообщениях текстов, оценивания полноты и точности своего понимания? Напомним, что динамика базисного читательского умения извлекать информацию из текстов, судя по нашим данным, вызывает наиболее серьезное беспокойство.
Разумеется, представленные экспериментальные данные требуют дополнительной проверки и углубленного анализа. Сейчас мы можем достоверно утверждать лишь одно: общее ощущение наличия серьезных проблем с обучением чтению в начале основной школы приобрело статус обоснованной гипотезы. Мы лишь мельком заглянули в «черную дыру», куда год за годом проваливаются достижения начальной школы России в воспитании грамотных читателей. Местоположение этой катастрофы — переход из начальной в основную школу. О недопустимых дидактогениях этого периода обучения, о травматическом кризисе перехода в основную школу и о том, что делать, написано так много, что половины предложенных средств было бы достаточно для смягчения ситуации 13. Найдены и действенные способы такой организации образования, которая обеспечивает превращение готовности выпускников
13 См.: [Аспекты модернизации.., 2001; Модернизация.., 2004; Образовательный
процесс.., 2001; Цукерман, 2001].
148
Г. А. Цукерман, Г. С. Ковалева, М. И. Кузнецова
Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников
начальной школы к обучению с помощью текстов в читательскую компетентность выпускников основной школы14.
Однако прежде чем заняться радикальной перестройкой образования на этом опасном образовательном переходе, хочется выдержать траурную паузу, сживаясь с мыслью о том, что два года школьного обучения ничего не изменили в способности учеников понимать тексты.
1. Аспекты модернизации российской школы: Научно-методические рекомендации к широкомасштабному эксперименту по обновлению содержания и структуры общего среднего образования / ред. А. А. Пинский. М.: ГУ-ВШЭ, 2001.
2. Качество общего образования в российской школе: по результатам международных исследований / ред. Г. С. Ковалева. М.: Логос, 2006.
3. Кузнецова М. И. Сильные и слабые стороны читательской деятельности выпускников российской начальной школы по результатам PIRLS 2006 // Вопросы образования. 2009. № 1. С. 107-136.
4. Модернизация образовательного процесса в начальной, основной и старшей школе: варианты решения / ред. А. Г. Каспржак, Л. Ф. Иванова. М.: Просвещение, 2004.
5. Неожиданная победа: российские школьники читают лучше других / ред. И. Д. Фрумин. М.: Изд. дом ГУ-ВШЭ, 2010.
6. Новый взгляд на грамотность. По результатам международного исследования PISA 2000 / ред. Г. С. Ковалева. М.: Логос, 2004.
7. Новые требования к содержанию и методике обучения в российской школе в контексте результатов международного исследования PISA 2000 / ред. К. Н. Поливанова. М.: Университетская книга, 2005.
8. Образовательный процесс в начальной, основной и старшей школе: Рекомендации по организации опытно-экспериментальной работы / ред. А. Г. Каспржак. М.: Сентябрь, 2001.
9. Российская школа: от PISA 2000 к PISA 2003 / ред. А. Г. Каспржак, К. Н. Поливанова. М.: Логос, 2006.
10. Пинская М. А. Анализ учебных пособий для начальной школы // Вопросы образования. 2009.№ 1. С. 137-161.
11. Центр оценки качества образования ИСМО РАО. Сайт http://www. centeroko.ru/. Информация о результатах PIRLS и PISA.
12. Цукерман Г. А. Переход из начальной школы в среднюю как психологическая проблема // Вопросы психологии. № 5. 2001. С. 19-34.
13. Цукерман Г.А., Ковалева Г. С., Кузнецова М. И. Хорошо ли читают российские школьники? // Вопросы образования. 2007. № 4. С. 240-266.
14. Cole M., Cole S. (1993) The development of children. N.Y.: Scientific American Books.
14
a
Литература
См.: [Качество общего образования.., 2006; Неожиданная победа.., 2010; Новый взгляд.., 2004; Новые требования.., 2005; Российская школа.., 2006; Центр оценки качества .., http://www.centeroko.ru].
149
Теоретические и прикладные исследования
Л
15. Kintsch W. (1998) Comprehension: A paradigm for cognition. Cambridge, UK: Cambridge University Press.
16. Mullis I.V.S., Martin M. O., Kennedy A. M., Trong K. L., Sainsbury M. (2009) PIRLS 2011. Assessment Framework. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.
17. OECD (2010). PISA 2009 Framework: Key competencies in reading, mathematics and science. Paris: OECD.
