CC BY-NC-ND
734
ОТ РЕДАКЦИИ
Журнал «Вопросы образования» продолжает публиковать материалы, посвященные успехам российских четвероклассников в PIRLS и анализу условий обучения, которые могли привести к этим достижениям.
Интерес к сравнительным исследованиям в области образования велик, и PIRLS-2006, для нас, конечно, имеет особое значение: российские школьники в 2006 году продемонстрировали лучшие результаты из всех 40 стран-участниц. Исследовательская активность будет, по всей видимости, только усиливаться по мере того, как будет прирастать и уточняться наше знание о сильных и слабых сторонах наших школьников и наших образовательных систем, и по мере того, как мы будем учиться использовать полученное знание для улучшения качества образования.
Россия, как, впрочем, и большинство стран, участвующих в международных сравнительных исследованиях в области образования, находится в самом начале этого пути. Поощрение аналитической деятельности в области качества образования, а особенно и как следствие — рост соответствующих публикаций в ведущих журналах, без сомнения, приведут к тому, что знание о качественном образовании и доступе к нему выйдет за пределы узких исследовательских групп в пространство самого широкого обсуждения. Люди, на которых лежит ответственность принимать решения в области образовательной политики, смогут делать свою работу, руководствуясь не только лучшими намерениями и здравым смыслом, но и достоверными научными данными. Без этих профессиональных исследований и открытого их обсуждения создать твердую почву под ногами в деле улучшения качества образования, наверное, невозможно.
Начав эту серию публикаций, редакция журнала ставила перед собой цель вбросить в поле широкой дискуссии и общественного внимания результаты данных вторичных исследований. В свое время усилиями Центра оценки качества образования РАО и персональным стремлением его руководителя Г.С. Ковалевой Россия стала участником международных исследований PISA, PIRLS, TIMS и проч. и тем самым получила уникальную возможность «обнаружить себя среди других» в области качества школьного образования. PIRLS несет колоссальный объем информации, касающейся всех основных параметров начальной школы: достижения и неудачи четвероклассников, школьные проблемы, учительские и детские ценности относительно чтения, педагогические подходы, социально-культурные характеристики семей учащихся. Этот информационный массив до сих пор мало использовался в России. По целому ряду объективных причин исследователи снимали только верхний пласт этих залежей — осуществляли первичный анализ данных о достижениях учащихся и условиях, в которых они получе-
105
Теоретические и прикладные исследования
я
ны. Потенциальные возможности углубленного вторичного анализа данных PIRLS трудно переоценить. Аналитическая работа с этими данными даст профессионалам в области образования почву для тонких сравнений и обоснованных гипотез, а родителям — ориентиры для разумного выбора образовательных стратегий для детей. В итоге, несомненно, мы продвинемся в решении задачи давать лучшее образование каждому ребенку каждый день.
Представленные работы выполнялись в рамках проекта Центра фундаментальных исследований ГУ-ВШЭ под научным руководством И.Д. Фрумина исследовательской группой сотрудников Института развития образования ГУ-ВШЭ и привлеченных экспертов. В качестве приоритетных были избраны четыре взаимодополняющих и взаимообеспечивающих направления анализа. Во-первых, это корреляционный и регрессионный анализ контекстных данных, показавший, чем обеспечены достижения наших четвероклассников в чтении (материал Ю.А. Тюменевой; см. № 4 за 2008 г.). Во-вторых, это тонкая статистическая обработка тестовых заданий PIRLS, обнаруживающая безусловно легкие для наших школьников задачи и задачи, находящиеся для наших детей в зоне трудности (материал М.И. Кузнецовой в этом номере журнала). Результаты исследования указывают направления для педагогических усилий и «топкие места» в обращении с письменным текстом у наших четвероклассников. Где должны формироваться специальные навыки работы с текстом? В рамках урока, во взаимодействии с учителем и с теми учебными текстами и заданиями, которые помещены в привычные учебники. М.А. Пинской была осуществлена, по сути, первая попытка — она составила третье направление анализа — соотнести содержание отечественных учебников для начальной школы с требованиями к детским читательским компетентностям, выдвигаемыми в PIRLS (статья в этом номере журнала). Материал, предлагаемый М.А. Пинской, демонстрирует перспективы систематического анализа учебных пособий для понимания читательской компетентности младших школьников и, шире, складывающегося в школе отношения ребенка к книге. В-четвертых, состоялось дополнительное качественное исследование отдельных школ, где уточнялись находки большого статистического анализа и формулировались гипотезы для дальнейших количественных исследований (материал М.А. Пинской и Т.В. Тимковой, запланированный к публикации в следующем номере).
М.И. Кузнецова
СИЛЬНЫЕ И СЛАБЫЕ СТОРОНЫ ЧИТАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ ВЫПУСКНИКОВ РОССИЙСКОЙ НАЧАЛЬНОЙ ШКОЛЫ ПО РЕЗУЛЬТАТАМ PIRLS-2006
Статья поступила в редакцию в январе 2009 г.
В статье приведены результаты качественного анализа выполне- Аннотация
ния российскими выпускниками начальной школы заданий между- ___________
народного исследования осознанности чтения PIRLS-20061. Актуальность такого анализа связана с необходимостью зафиксировать как достоинства отечественной методики обучения, так и ее недостатки, что позволит наметить пути совершенствования обучения осознанному чтению литературных и информационных текстов в начальной школе. Использование в исследовании сочетания статистических методов и качественного анализа позволяет говорить об объективности сделанных выводов о достижениях и дефицитах читательской грамотности российских младших школьников. Российские выпускники начальной школы показали хороший уровень осознанного чтения при работе и с художественными, и с информационными текстами, но результаты работы с информационными текстами все же несколько ниже, поэтому для обеспечения конкурентоспособности российского образования в ходе обучения в начальной школе необходимо обратить больше внимания на работу с информационными текстами различной структуры.
Статья посвящена качественному анализу заданий международного исследования PIRLS-2006. При общем успехе российских выпускников начальной школы — Россия занимает первую строку в таблице результатов — представляется важным выявить задания, которые в сравнении с международными показателями оказались для учащихся, закончивших российские начальные школы, самыми простыми и самыми трудными. Точное знание о достоинствах и недостатках российского начального обучения чтению позволит, во-первых, зафиксировать реальные достижения отечественной педагогики, во-вторых, обозначить те задачи обучения чтению, на
1 Работа проводилась в рамках проекта «Факторы успеха России в PIRLS-2006», входящего в тематический план фундаментальных исследований ГУ-ВШЭ (науч. рук. И.Д. Фрумин).
107
Теоретические и прикладные исследования
я
которые российским педагогам необходимо обратить более пристальное внимание. Такой анализ позволит наметить пути совершенствования методики обучения осознанному чтению текстов в начальной школе.
1. Общая характеристика выполнения заданий, проверяющих навыки чтения с целью приобретения читательского литературного опыта
Входящие в инструментарий исследования PIRLS литературные тексты соответствуют определенным критериям. По тематике тексты ориентированы на возрастные возможности читателей после четырех лет школьного обучения чтению. Объем ограничен 600670 словами. Тексты лишены прямого дидактизма и либо содержат некую неоднозначность (например, в тексте «Невероятная ночь» нет указания на то, что это случилось во сне, но нет и полной реалистичности, что дает возможность двойной трактовки), либо в качестве главного героя в тексте выступает необычный персонаж (комочек глины, птенец орла, волчья стая) и читатели должны проявить свои умения перевоплощения и переноса чувств этих героев на чувства людей. При работе с текстом «Комочек глины» читатели должны проследить динамику чувств сначала забытого всеми, а потом гордого своей значимостью комочка глины и понять, что эти чувства свойственны людям. Каждый текст сопровождается несколькими иллюстрациями.
Всего в инструментарий исследования PIRLS-2006 входят пять литературных текстов, общая сумма заданий к ним равна 64. К каждому литературному тексту было предложено от 12 до 14 заданий. В большинстве случаев задания приведены сразу после текста, и только задания к тексту, помещенному в «Книгу для чтения» («Невероятная ночь»), были напечатаны как отдельная тетрадь.
По результатам выполнения учащимися заданий к литературным текстам определялся средний балл каждой страны. Средний балл, полученный российскими школьниками, равен 561. Это максимальный балл среди всех стран-участниц. В табл. 1 приведены данные о среднем балле стран с близкими к российским результатами.
Таблица 1 Средний балл по результатам выполнения заданий
к литературным текстам
Страны Средний балл Стандартная ошибка измерения
Россия 561 (3,3)
Гонконг 557 (2,6)
Венгрия 557 (2,9)
Люксембург 555 (1,0)
Канада, Онтарио 555 (3,0)
Сингапур 552 (2,9)
Италия 551 (3,3)
Швеция 546 (2,3)
Нидерланды 545 (1,8)
Бельгия (фл.) 544 (1,9)
Канада, Новая Шотландия 543 (2,4)
Болгария 542 (4,5)
Литва 542 (1,9)
США 541 (3,6)
108
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Кроме подсчета среднего балла для каждой из стран-участниц был также проведен анализ выполнения каждого задания к текстам, определен процент выполнения задания учащимися каждой страны, подсчитан средний международный процент выполнения каждого задания, определена степень трудности каждого задания.
Таким образом, по каждому заданию страны-участницы могут не только оценить свой результат, но и сравнить его со средним международным, с полученными максимальным и минимальным результатами. Используя эти данные, мы можем выявить задания, с которыми российские школьники справились очень успешно, и задания, вызвавшие у наших четвероклассников максимальные трудности. Выделив области максимального успеха и неуспеха, мы сможем провести качественный анализ выполнения заданий теста PIRLS в российской выборке и дать углубленную оценку результатов обучения чтению литературных текстов в отечественной начальной школе.
Удобным способом представления информации по заданиям являются графики по каждому из текстов (рис. 1-5). На каждом графике представлены четыре кривые: минимальные среди стран-участниц показатели по каждому заданию к тексту; средние международные показатели по заданиям; российские показатели по заданиям; максимальные среди стран-участниц показатели по заданиям. Овалом на графиках выделены задания, по которым российский показатель ниже среднего международного.
Рис- 1- Выполнение заданий к тексту «Цветы на крыше»
109
а
Рис. 2.
Рис. 3.
Теоретические и прикладные исследования
Выполнение заданий к тексту «Соломенная блестка»
Выполнение заданий к тексту «Лети, орел, лети»
110
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Рис. 4.
Выполнение заданий к тексту «Комочек глины»
Рис. 5.
Выполнение заданий к тексту «Невероятная ночь»
111
Теоретические и прикладные исследования
я
Проведенный анализ показал, что из 64 заданий к литературным текстам российский показатель ниже среднего международного по трем заданиям, что составляет 5% от общего числа заданий. Эти три задания связаны с таким читательским умением, как интерпретация и обобщение информации, в двух заданиях учащиеся должны были объяснить причину поступка главного героя, при этом в одном случае они должны были привести два объяснения, в третьем задании нужно было объяснить роль одного из героев рассказа. Третье задание относится к открытому тексту «Комочек глины» и может быть приведено: «Маленькая девочка — важный персонаж в этом рассказе. Объясни, почему так важна ее роль во всем, что произошло». Два балла из двух возможных получили 22,3% российских школьников, при этом средний международный показатель равен 27%. Значительное количество наших школьников (63,1%) получили за выполнение этого задания один балл из двух возможных (средний международный показатель 41,9). Отличие ответа, оцениваемого одним баллом, от ответа, оцениваемого двумя баллами, заключается в степени обобщенности, в наличии указания на связь действий девочки с общей идеей рассказа, с динамикой чувств комочка глины. Для того чтобы получить один балл, ученику достаточно было лишь указать на события, произошедшие благодаря девочке с комочком глины, чтобы получить два балла, нужно было не просто перечислить события рассказа, но и указать роль девочки «в превращении комочка глины во что-то нужное, полезное». Видимо, нашим школьникам помешало получить максимальный балл за задание их неумение связать действия одного из героев рассказа с общей идеей текста, т.е. увидеть роль героя на фоне всего авторского замысла.
По 12 заданиям российские школьники продемонстрировали максимальный показатель, это составляет 19% от общего числа заданий. Полученные данные, с одной стороны, свидетельствуют о том, что российские учащиеся успешно справляются с заданиями к литературным текстам, а с другой — говорят о необходимости более детального рассмотрения заданий, что и будет сделано после общей характеристики работы с информационными текстами.
2. Общая характеристика выполнения заданий, проверяющих уровень чтения с целью освоения и использования информации
Использовавшиеся в исследовании тексты, проверяющие уровень чтения с целью освоения и использования информации, очень разнообразны и довольно необычны для российской начальной школы. Здесь учащиеся должны работать с информацией, представленной в разных формах: в словесном тексте, в рисунке, в подписях к нему, в плане-схеме. Почти всегда тексты не сплошные, а состоят из нескольких фрагментов. Объем текстов колеблется от 430 до 700 слов. Тексты «В поисках еды» и «Антарктида: Ледовый континент» помогают составить представление о специфике входящих в инструментарий исследования информационных текстов. Текст «В поисках еды» представляет собой описание трех небольших экспериментов с муравьями, мокрицами и дождевыми червями: «На муравьиной тропе», «Изучение мокриц», «Садок для дож-
112
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
девых червей». В каждом фрагменте учащиеся знакомятся с тем, что нужно сделать, чтобы подготовить эксперимент, в какой последовательности следуют друг за другом этапы эксперимента, что интересного можно увидеть в ходе эксперимента (эта информация представлена в рубрике «Что происходит»), как можно объяснить то, что наблюдается в ходе эксперимента (информация представлена в рубрике «Почему»). Текст «Антарктида: Ледовый континент» состоит из двух блоков — «Знакомство с Антарктидой» и «Письмо из Антарктиды», — в которых информация представлена двумя разными способами. Блок «Знакомство с Антарктидой» содержит три фрагмента: «Что такое Антарктида», «Погода в Антарктиде», «Пингвины в Антарктиде».
В инструментарий входят пять информационных текстов, к которым составлено 62 задания. После статистической обработки одно задание было исключено. К каждому информационному тексту было предложено от 11 до 15 заданий. Как и в случае с литературными текстами, почти всегда задания приводятся сразу после текста, и только задания к тексту, помещенному в «Книгу для чтения» («В поисках еды»), были напечатаны в отдельной тетради.
По результатам выполнения учащимися заданий к информационным текстам, так же как и в случае с литературными текстами, определялся средний балл каждой страны. Средний балл, полученный российскими школьниками, равен 564. Это второй результат среди стран-участниц, лучший результат показали школьники Гонконга, их средний балл равен 568. В табл. 2 приведены данные о среднем балле стран с близкими к российским результатами.
Таблица 2
Средний балл по результатам выполнения заданий
к информационным текстам
Страны Средний балл Стандартная ошибка измерения
Гонконг 568 (2,3)
Россия 564 (3,3)
Сингапур 563 (2,8)
Люксембург 557 (1,0)
Канада, Альберта 556 (2,4)
Канада, Британская Колумбия 554 (2,7)
Канада, Онтарио 552 (3,0)
Болгария 550 (4,4)
Швеция 549 (2,4)
Италия 549 (2,9)
Нидерланды 548 (1,6)
Бельгия (фл.) 547 (2,0)
Германия 544 (2,3)
Дания 542 (2,4)
Венгрия 541 (3,1)
Латвия 540 (2,4)
113
а
Теоретические и прикладные исследования
Рис. 6.
Рис. 7.
Кроме подсчета среднего балла был также проведен анализ выполнения каждого задания к текстам, определен процент выполнения задания учащимися каждой страны, подсчитан средний международный процент выполнения каждого задания, определена степень трудности каждого задания. Информация по заданиям к информационным текстам представлена ниже в виде графиков по каждому из текстов (рис. 6-10).
114
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Рис. 8.
Рис. 9.
Л
Выполнение заданий к тексту «В поисках еды»
Выполнение заданий к тексту «Леонардо»
115
% выполнения
Теоретические и прикладные исследования
я
Рис. 10.
Выполнение заданий к тексту «Однодневный поход»
Текст «Однодневный ПОХОД»
—■—минимальный показатель —▼—средний международный показатель
В процессе качественного анализа, как и в случае с литературными текстами, прежде всего были выявлены задания, процент выполнения которых российскими школьниками ниже среднего международного показателя. Из 61 задания только по двум (3% от общего числа заданий) российский показатель выполнения ниже среднего международного. Одно из этих заданий проверяет умение сделать на основе информации, содержащейся в тексте, несложный вывод, второе задание требует умения обобщить и интерпретировать информацию: учащиеся должны были привести два примера того, чему главный герой научился у своего учителя, и объяснить, как полученные знания помогли ему в дальнейшей жизни. В одном из заданий предлагаются на выбор варианты ответов, второе задание со свободным ответом. Поскольку по двум заданиям невозможно делать какие-либо выводы, более подробное рассмотрение трудностей работы с информационными текстами будет предпринято ниже.
По семи заданиям (12% от общего числа заданий) российский показатель является максимальным для всей международной выборки.
116
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Для того чтобы ответить на вопросы, какие задания лучше всего выполняют российские школьники и с какими заданиями они справляются хуже всего, была выполнена статистическая процедура, состоящая из четырех этапов.
1. Были объединены задания к литературным и информационным текстам. Такое объединение возможно, поскольку как при разработке инструментария, так и при статистической обработке использованы одни и те же подходы. В общем списке оказалось 125 заданий.
2. Для каждого задания была вычислена разница между российским показателем выполнения и средним международным показателем (она составила от 35,9 до -4,7), после чего задания были структурированы по этому критерию.
3. Все задания были распределены на три группы: в первую группу было объединено 31 задание (25% от общего числа заданий), для которых данный показатель является отрицательным или небольшим по величине (от -4,7 до 9,1), эта группа была названа областью неблагополучия. В следующую группу было объединено 31 задание (25% от общего числа заданий), для которых данный показатель является высоким (от 18,2 до 35,9) — это область успеха. Оставшиеся 63 задания (50% от общего количества) были объединены в группу, названную областью благополучия.
4. Из общего рассмотрения были исключены три задания, которые по формальным критериям попали в область неблагополучия (разница между российским и средним международным результатом не превышала 8,9), однако по абсолютным значениям результаты по этим заданиям превышали 85% выполнения по международной выборке и 94% по российской выборке, т.е. для них был достигнут так называемый ceiling effect. Таким образом, в области неблагополучия осталось 28 заданий.
В процессе распределения заданий по областям неблагополучия, благополучия и успеха было выявлено наличие особенностей в развитии читательской деятельности российских школьников. Как видно из табл. 3, те задания, с которыми российские четвероклассники справились особенно хорошо (область успеха), вызвали значительные трудности в международной выборке, т.е. эти задания не являются легкими для их сверстников из других стран. Иными словами, в читательской деятельности российских школьников есть такие составляющие, которые помогают им легко преодолеть трудности, типичные для читателей их возраста.
3. Качественная характеристика выполнения заданий российскими школьниками
3.1. Распределение заданий на группы в зависимости от успешности выполнения
Таблица 3 Соотношение средних российских показателей
и средних международных показателей по выделенным областям
Средний российский показатель Средний международный показатель
Область неблагополучия 49,7 45,2
Область благополучия 69,9 56,0
Область успеха 72,4 49,1
117
Теоретические и прикладные исследования
я
3.2. Какие тексты лучше читают российские школьники
Прежде всего хотелось посмотреть, в какой степени представлены в областях неблагополучия, благополучия и успеха задания к литературным и информационным текстам. Это поможет ответить на вопрос, какие же тексты — литературные или информационные — лучше читают российские школьники. Данные, позволяющие получить ответ, представлены в табл. 4 и на рис. 11.
Таблица 4 Соотношение заданий к литературным и информационным текстам
по выделенным областям
Задания к литературным текстам Задания к информационным текстам Всего
Область неблагополучия 13 15 28
Область благополучия 32 31 63
Область успеха 18 13 31
Рис. 11. Соотношение заданий к литературным и информационным текстам
(% от общего количества заданий в каждой из выделенных областей)
X
<и
*
<и
со
о
q
о
7060--------------------------------------------------------------------------
50---------------------------------^------------------------- --------------
40------- ------------------------- -------------------------
30------- ------------------------- -------------------------
20------- ------------------------- -------------------------
10------- ------------------------- -------------------------
0 -I------------------------,-------------------------,--------------------
Область неблагополучия Область благополучия Область успеха
□ Задания к литературным текстам ■ Задания к информационным текстам
Анализ показывает, что в области благополучия примерно одинаково представлены задания к литературным и информационным текстам. В области неблагополучия немного больше заданий к информационным текстам. В области успеха чуть больше представлены задания к литературным текстам. Приведенные данные дают возможность сделать следующий предварительный вывод: рос-
118
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
сийские выпускники начальной школы продемонстрировали примерно одинаковые успехи в чтении с двумя основными целями — с целью приобретения читательского опыта и с целью получения информации. Но при этом как тенденцию можно выделить несколько худшую ситуацию с чтением информационных текстов, что требует увеличения внимания к работе с этим видом текстов в начальной школе.
Следующий вопрос, на который позволяет дать ответ рассмотрение заданий по выделенным областям: как в каждой области представлены задания, характеризующие различные читательские умения. При чтении литературных и информационных текстов оцениваются четыре группы читательских умений:
1) поиск информации, заданной в явном виде;
2) формулирование прямых выводов, заключений на основе фактов, имеющихся в тексте;
3) интерпретация и обобщение информации;
4) оценка содержания, языка и структуры текста.
Целью анализа представленности той или иной группы читательских умений в выделенных областях является выявление сильных и слабых сторон читательской деятельности российских учащихся. В табл. 5 дана информация о количестве заданий, направленных на проверку четырех групп читательских умений, в определенных ранее областях.
3.3. Насколько российские школьники владеют основными читательскими умениями
Таблица 5 Количество заданий, оценивающих различные
читательские умения, в областях неблагополучия, благополучия
и успеха
Читательские умения
1 2 3 4
Область неблагополучия 6 11 10 1
Область благополучия 20 21 15 7
Область успеха 2 11 9 9
На рис. 12 представлено соотношение читательских умений в различных областях, а также заложенное в инструментарии соотношение.
В каждой из областей соотношение читательских умений примерно повторяет заложенное в инструментарии соотношение (особенно справедливо это замечание по отношению к области неблагополучия), что является хорошим показателем, так как для любого читателя важен баланс всех умений. Это также свидетельствует о том, что сейчас в начальной школе идет работа над всеми читательскими умениями и в большей или меньшей степени все они развиваются. Положительным моментом является и то, что среди заданий, с которыми российские школьники справились хорошо, довольно значительна доля тестирующих вторую и третью группы
119
а
Рис. 12.
Рис. 13.
Теоретические и прикладные исследования
читательских умений. На рис. 13 информация представлена по группам читательских умений.
Соотношение числа заданий различных групп читательских умений по областям (% от общего количества заданий в каждой области)
I
<и
*
<и
со
о
q
о
Область Область Область успеха Всего
неблагополучия благополучия в инструментарии
□ 1 □ 2
□ 3
□ 4
Различные читательские умения (% от общего количества заданий
в каждой из выделенных областей)
50
40
X
<и
*
<и
со
о
S
30
20
10
2 3
Читательские умения
□ Область небиьгопоиучия пОбиьсть биьгопоиучия пОбиьсть успехь
120
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Полученные данные позволяют сделать ряд выводов.
Наиболее успешно российские школьники справляются с заданиями, направленными на проверку четвертой группы читательских умений. По критерию с2 различия между количеством заданий этой группы в области неблагополучия и в области успеха значимы с вероятностью не менее 99%.
В процессе совершенствования обучения пониманию текстов в начальной школе необходимо обратить внимание на такое читательское умение, как поиск информации, предъявленной в тексте в явном виде. К сожалению, в области неблагополучия оказалось довольно много заданий на эту группу читательских умений, а в области успеха, наоборот, этих заданий оказалось мало. При этом по критерию с2 различия между количеством заданий этой группы в области неблагополучия и в области успеха значимы с вероятностью не менее 90%. Безусловно, без умения правильно воспринять предложенную в тексте информацию невозможна дальнейшая работа по ее обобщению и интерпретации.
Задания второй и третьей группы читательских умений представлены как в области неблагополучия, так и в области успеха, что свидетельствует о частичности педагогических достижений в формировании этих умений и необходимости продолжать активную работу по их развитию.
Анализ заданий по группам читательских умений был бы неполным без рассмотрения особенностей выполнения заданий на разные группы умений при работе с литературными и информационными текстами. Данные представлены на рис. 14.
Рис. 14. Соотношение числа заданий на различные группы читательских умений
по областям с распределением по типам текстов (% от общего количества заданий в каждой из областей)
121
Теоретические и прикладные исследования
я
Безусловно, не слишком большой диапазон заданий не позволяет делать окончательные заключения, но тем не менее данные дают возможность говорить об имеющихся тенденциях.
Умение находить информацию, представленную в тексте в явном виде, лучше развито у российских школьников при работе с литературными текстами. Заданий на данное умение при работе с информационными текстами в области неблагополучия больше, чем при работе с литературными текстами, а в области успеха задания на данное умение при работе с информационными текстами не представлены вообще. Это очень настораживающий факт, ведь именно при работе с информационными текстами прежде всего необходимо воспринять факты, на которых потом будут строиться выводы и обобщения. Необходимо серьезно усилить работу над этим умением при обучении чтению информационных текстов в начальной школе.
При работе с информационными текстами в сравнении с литературными чуть хуже обстоят дела и со второй группой читательских умений: если в области неблагополучия соотношение заданий одинаковое, то в областях благополучия и успеха заданий на эту группу читательских умений к информационным текстам меньше, чем к литературным. Это опять же настораживающий факт, так как умение делать прямые выводы, заключения на основе фактов, имеющихся в тексте, очень важно именно при работе с информационными текстами, следовательно, необходимо в учебном процессе при работе с информационными текстами усилить работу над умением делать несложные выводы на основе прочитанной информации.
Третья группа читательских умений примерно одинаково развита у российских школьников при работе с литературными и информационными текстами, можно отметить очень незначительное преимущество этих умений при работе с литературными текстами. Необходимо продолжать уделять внимание в процессе обучения заданиям на интерпретацию и обобщение информации при работе с любыми текстами.
Четвертая группа умений лучше развита у наших школьников при работе с информационными текстами: заданий этой группы совсем нет в области неблагополучия при работе с информационными текстами, и их количество в области успеха больше при работе с информационными текстами в сравнении с литературными.
Общие выводы об особенностях выполнения российскими школьниками заданий, оценивающих разные читательские умения, и о целесообразности внесения некоторых изменений в образовательный процесс:
• в целом для российских школьников характерен баланс четырех групп читательских умений;
• стабильно хорошо выполняются задания на анализ языковых и структурных особенностей текста;
• необходимо продолжать работать над всеми видами читательских умений, не снижая внимания к работе над таким, каза-
122
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
лось бы, простым умением, как поиск информации, заданной в явном виде;
• при работе над информационными текстами необходимо больше внимания уделять умениям находить информацию, заданную в тексте в явном виде, формулировать прямые выводы и делать простые заключения;
• при работе со всеми видами текстов стоит совершенствовать методику развития умения интерпретировать и обобщать информацию.
Данные этого раздела также подтверждают сделанный ранее вывод о том, что для обеспечения конкурентоспособности российского образования в ходе обучения в начальной школе необходимо обратить самое серьезное внимание на работу с информационными текстами.
На основании выполнения заданий всеми учащимися, принявшими участие в исследовании, был определен уровень сложности каждого задания, всего было выделено четыре уровня сложности: низкий, средний, повышенный и высокий. В табл. 6 представлено количество заданий каждого уровня по выделенным областям.
3.4. Как российские школьники выполняют задания разного уровня сложности
Таблица 6 Количество заданий разного уровня сложности в областях неблаго-
получия, благополучия и успеха
Уровни сложности
Низкий Средний Повышенный Высокий
Область неблагополучия 1 6 7 14
Область благополучия 1 23 25 14
Область успеха 2 0 20 9
Как видно из табл. 6 и рис. 15, задания низкого, повышенного и высокого уровней сложности представлены во всех трех областях, задания среднего уровня не представлены в области успеха. Довольно закономерным представляется наличие большого числа заданий высокого уровня сложности в области неблагополучия. Распределение заданий различных уровней сложности в области благополучия очень близко к распределению заданий в инструментарии в целом, что позволяет сделать вывод о том, что в основном уровень трудности заданий для российских школьников и для всей международной выборки совпадает. Положительным представляется факт наличия в области успеха такого большого количества заданий повышенного уровня сложности и значительного количества заданий высокого уровня сложности. Это значит, что российские школьники очень хорошо справляются с заданиями не только низкого уровня, но и с заданиями повышенного и высокого уровня. Количество заданий повышенного уровня сложности последовательно увеличивается от области неблагополучия к области успеха.
123
Теоретические и прикладные исследования
я
Рис. 15. Соотношение заданий разного уровня сложности по областям
(% заданий, относящихся к каждому уровню трудности, от общего количества заданий в каждой области)
70 60 чо 50
04
5
і 40
tu
9
О 30
|
* 20 10 0
I- п
Область
неблагополучия
Область
благополучия
Область успеха
В целом
□ низкий □ средний ■ повышенный □ высокий
Рассмотрим особенности выполнения заданий разных уровней сложности при работе с литературными и информационными текстами. Данные, отраженные на рис. 16, показывают, что существенных различий при выполнении заданий разных уровней сложности при работе с этими типами текстов не наблюдается, что говорит о том, что тип текста практически не влияет на выполнение заданий разного уровня сложности. Можно лишь отметить некоторые небольшие особенности. В области неблагополучия представлено задание низкого уровня сложности к информационному тексту, заданий высокого уровня сложности к информационным текстам в области неблагополучия больше, чем к литературным текстам. С другой стороны, заданий повышенного уровня сложности к литературным текстам в области неблагополучия больше, чем к информационным текстам, а заданий высокого уровня сложности к информационным текстам в области успеха больше, чем таких заданий к литературным текстам.
В качестве общего вывода можно еще раз отметить преобладание заданий повышенного и высокого уровня сложности среди заданий, с которыми российские школьники справились очень хорошо.
124
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Рис. 16. Соотношение заданий разного уровня сложности по областям
с распределением по типам текстов (% заданий, относящихся к каждому уровню трудности, от общего количества заданий в каждой области)
Продолжая анализ заданий, интересно было получить ответ еще на один вопрос: влияет ли вид задания (задания с выбором ответа, задания со свободным ответом) на успешность его выполнения российскими школьниками. Данные, на которых строятся выводы, представлены в табл. 7 и на рис. 17.
3.5. Как российские школьники выполняют задания разного вида
Таблица 7 Количество заданий разного вида в областях неблагополучия,
благополучия и успеха
Тип задания
Выбор ответа Свободный ответ
Область неблагополучия 10 18
Область благополучия 33 30
Область успеха 17 14
В области неблагополучия преобладают задания со свободным ответом, стоит отметить также и то, что из пяти заданий, по которым российский показатель ниже среднего международного, четыре — это задания со свободным ответом. По критерию %2 различия в области неблагополучия между количеством заданий с выбором ответа и со свободным ответом значимы с вероятностью не менее 95%. Тем не менее важно подчеркнуть, что не все задания
125
Теоретические и прикладные исследования
я
области неблагополучия — это задания со свободным ответом. Необходимо отметить и тот факт, что в области успеха наряду с заданиями с выбором ответа значительную часть составляют задания со свободным ответом.
Рис. 17. Распределение заданий разного вида по областям
(% заданий, относящихся к каждому виду, от общего количества заданий в каждой области)
Представляется возможным сделать несколько выводов. Первый в большей степени обращен к критикам использования при проверке качества чтения заданий с выбором ответа. Статистические данные говорят о том, что при квалифицированном составлении заданий с выбором ответа эти задания являются надежным показателем грамотности чтения. Не стоит исключать задания этого вида как из процесса обучения, так и из контрольно-измерительных материалов. В области неблагополучия эти задания составляют 36%, что говорит о том, что российские школьники не очень легко справляются с заданиями с выбором ответа. Второй вывод: чем лучше российскими школьниками выполняются задания, тем более вероятно, что это задания с выбором ответа, чем хуже выполняются задания, тем больше среди них заданий со свободным ответом. Но при этом важно отметить, что при наличии этой тенденции и безусловной необходимости в процессе обучения увеличить внимание к заданиям со свободным ответом необходимо как в образовательном процессе, так и в процессе контроля сохранять баланс этих двух видов заданий.
126
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Особенности выполнения заданий разного вида с учетом типа текстов представлены на рис. 18. В зоне неблагополучия заданий со свободным ответом к информационным текстам значительно больше, чем заданий с выбором ответа. По критерию %2 эти различия значимы с вероятностью не менее 90%. Это говорит о том, что при общей тенденции, заключающейся в том, что давать свободный ответ сложнее, чем выбирать ответ из нескольких предложенных, российским школьникам немного сложнее высказывать свое мнение при работе с информационными текстами.
Рис. 18. Соотношение заданий разного вида с учетом типа текста
(% заданий от общего количества заданий к каждому типу текстов)
х
га
Ч
га
о
О
ч
о
70
60
50
40
30
20
10
0
Лит. тексты Инф. тексты Лит. тексты Инф. тексты
С вы1бором ответа Со свободным ответом
Вид заданий
I Область неблагополучия □ Область благополучия □ Область успеха
Для того чтобы ответить на вопрос, какие задания российские школьники выполняют лучше всего, было решено выделить и объединить в одну группу задания, по которым российский показатель является максимальным по всей международной выборке. Таких заданий оказалось 19, среди них 12 заданий к литературным текстам и семь — к информационным, 14 заданий — с выбором ответа, пять — со свободным ответом. Как видно из представленных данных (рис. 19), почти две трети заданий этой группы составляют задания к литературным текстам, столько же в этой группе заданий с выбором ответа.
3.6. С какими
заданиями
российские
школьники
справляются
лучше всего
127
Теоретические и прикладные исследования
я
Рис. 19. Распределение по типам текстов и по виду заданий внутри группы заданий,
с которыми российские школьники справились лучше всего
Безусловный интерес представляет вопрос, на оценку каких читательских умений направлены задания, в которых наши школьники продемонстрировали максимальные показатели. Данные приведены в табл. 8 (для удобства в таблице помещены и данные по типам текстов) и на рис. 20. Прежде всего необходимо отметить, что в группе заданий максимальных достижений представлены все группы читательских умений и соотношение различных читательских умений в этой группе почти полностью соответствует заложенному в инструментарии.
Таблица 8 Количество заданий, оценивающих различные читательские умения,
среди заданий с максимальными показателями
Читательские умения
1 -я группа 2-я группа 3-я группа 4-я группа
Задания с максимальными показателями (всего 19) 4 7 5 3
Задания к литературным текстам (всего 12) 2 6 3 1
Задания к информационным текстам (всего 7) 2 1 2 2
Видно, что в группе заданий с максимальными показателями представлены задания всех четырех групп читательских умений, при этом соотношение заданий разных групп практически совпадает с заложенным в инструментарии. Это еще раз свидетельствует о пропорциональности развития различных читательских умений у учащихся российской начальной школы.
Интерес представляет и рассмотрение отдельных читательских умений с учетом типа текста. Информация представлена на рис. 21. Очевидно, что лучше всего российские школьники владеют умением делать несложные выводы и прямые заключения на основе имеющейся в тексте информации при работе с литературными текстами. Это читательское умение намного хуже развито при работе с информационными текстами. По критерию %2 различия в проявлениях этого умения в зависимости от типа текста статистически значимы. При этом такое читательское умение, как
128
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
оценка содержания, языка и структуры текста, лучше проявляется при работе с информационными текстами. Эти данные еще раз подтверждают выводы, сделанные ранее.
Рис. 20. Соотношение заданий на различные группы читательских умений
(% заданий, относящихся к каждому умению, от общего количества заданий в группе с максимальными показателями)
чО
0s
>5
s
z
ГС
8
о
о
q
о
s
X
Задания с максимальными показателями Соотношение в инструментарии Читательские умения
■ 1 □ 2 □ 3 □ 4
Рис. 21. Соотношение числа заданий на различные группы читательских умений
с распределением по типам текстов (% заданий, относящихся к каждому умению, от общего количества заданий на данную группу умений)
12 3 4
Читательские умения
■ Задания к литературным текстам ШЗадания к информационным текстам
129
Теоретические и прикладные исследования
я
Данные об уровне сложности заданий, по которым российские школьники продемонстрировали максимальные показатели, опровергают возможное предположение о том, что все эти задания — низкого и среднего уровня. Среди этих заданий есть задания всех уровней сложности. Приятно отметить, что 42% составляют задания повышенного уровня, 26% — задания высокого уровня сложности (рис. 22).
Рис. 22. Соотношение заданий разного уровня сложности в группе заданий
с максимальными показателями
Важно подчеркнуть, что соотношение заданий разного уровня сложности в группе заданий с максимальными показателями практически полностью повторяет соотношение заданий по уровню сложности, заложенное в инструментарии. Это хороший показатель развития читательской деятельности у российских выпускников начальной школы.
Подводя итог, можно сказать, что среди заданий, по которым российские школьники показали максимальный балл по всей международной выборке, есть задания на все группы читательских умений и задания всех уровней трудности. Структура читательских умений и соотношение по уровню сложности почти полностью совпадают с заложенными в инструментарии. Большинство заданий этой группы — это задания к литературным текстам, что еще раз подтверждает вывод о том, что российские школьники хуже работают с информационными текстами.
В Приложении 1 даны примеры заданий с максимальными показателями к открытым текстам.
130
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Для того чтобы ответить на вопрос, какие задания российские школьники выполняют хуже всего, было решено выделить группу заданий, в которых отличия российских показателей от продемонстрированных в исследовании максимальных показателей являются самыми значительными, т.е. те задания, по которым Россия особенно сильно отличается от высших мировых достижений. Для этого для всех заданий была подсчитана разница между российским показателем и максимальным международным показателем, после этого были выявлены задания, у которых эта разница оказалась ниже среднего значения по данному показателю (-8,79) плюс стандартное отклонение (8,16). Таких заданий оказалось 17 (по сути, это группа заданий, по которым российские показатели значительно отличаются от максимальных, далее для краткости она будет называться группой заданий с минимальными показателями), среди них шесть заданий к литературным текстам и 11 — к информационным. Шесть заданий — с выбором ответа, 11 — со свободным ответом. По критерию с2 различия в количестве заданий к литературным и информационным текстам в группе заданий с минимальными показателями значимы с вероятностью не менее 90%. Сравнение цифр, а еще более наглядно — информации, представленной на рис. 19 и 23, позволяет сделать вывод об «обратной симметрии»: среди заданий с минимальными показателями примерно две трети — это задания к информационным текстам, и примерно две трети — задания со свободным ответом.
3.7. С какими
заданиями
российские
школьники
справляются
хуже всего
Рис. 23. Распределение по типам текстов и виду заданий в группе заданий
с минимальными показателями
Как видно из данных табл. 9 и рис. 24, среди заданий с минимальными показателями представлены задания на все группы читательских умений, при этом распределени е этих заданий не соответствует заложенному в инструментарии. Явно видно, что преобладают задания на интерпретацию и обобщение информации, т.е. можно говорить о необходимости усилить внимание к данной группе читательских умений, если ставится задача в будущем улучшить российские результаты.
131
Теоретические и прикладные исследования
я
Таблица 9 Количество заданий, оценивающих различные читательские умения,
в группе заданий с минимальными показателями
Читательские умения
1 -я группа 2-я группа 3-я группа 4-я группа
Задания с минимальными показателями (всего 17) 3 3 8 3
Задания к литературным текстам (всего 6) 1 1 3 1
Задания к информационным текстам (всего 11) 2 2 5 2
Рис. 24. Соотношение числа заданий на различные группы читательских умений
внутри группы заданий с минимальными показателями (% заданий, относящихся к каждому умению, от общего количества заданий в группе)
Задания с минимальными показателями Соотношение в инструментарии Читательские умения
■1□2□ Э□4
В связи с тем что в группе заданий, по которым российские показатели значительно отличаются от максимальных, по всем читательским умениям заданий к информационным текстам практически в 2 раза больше, чем к литературным текстам, можно сделать вывод о том, что при работе с информационными текстами дефицитарность читательских умений проявляется в 2 раза сильнее, чем при работе с литературными текстами.
Рассмотрение уровня сложности заданий, попавших в группу с минимальными показателями, дает возможность констатировать ожидаемый результат: заданий низкого уровня нет вообще, количество заданий других уровней сложности увеличивается пропорционально уровню трудности (рис. 25). В данной группе много заданий высокого уровня сложности, что отличает распределение в группе заданий с минимальными показателями от заложенного в инструментарии.
132
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
Рис. 25. Соотношение заданий разного уровня сложности в группе заданий
с минимальными показателями
Таким образом, можно сказать, что среди заданий, по которым показатели российских школьников значительно отличаются от максимальных по международной выборке, есть задания на все группы читательских умений, особенно значительно представлены задания на интерпретацию и обобщение информации. Большая часть этих заданий — со свободным ответом, две трети заданий — это задания к информационным текстам, что в очередной раз подтверждает вывод о том, что российские школьники хуже работают с информационными текстами. В этой группе много заданий повышенного и высокого уровня сложности.
В Приложении 2 даны примеры заданий с минимальными показателями.
1. Российские выпускники начальной школы показали хороший уро- д Общие
вень осознанного чтения как с целью приобретения читательского
. выводы
опыта, так и с целью получения информации, но при этом результаты работы с информационными текстами все же несколько ниже результатов работы с литературными текстами. Для обеспечения конкурентоспособности российского образования в ходе обучения в начальной школе необходимо обратить больше внимания на работу с информационными текстами.
2. Российские учащиеся успешно выполнили задания всех уровней сложности. Среди заданий, с которыми российские школьники справились лучше остальных участников исследования, преобладают задания повышенного и высокого уровня сложности, что позволяет говорить об эффективности методики обучения чтению.
Среди заданий, по которым российские школьники показали максимальный балл по всей международной выборке, есть задания на
133
а
Теоретические и прикладные исследования
Литература все группы читательских умений. Структура читательских умений и соотношение по уровню сложности почти полностью совпадают с заложенными в инструментарии. 3. Современная методика работы с текстами в начальной школе нацелена на гармоничное развитие всех четырех групп читательских умений, что, безусловно, способствует становлению полноценной читательской деятельности младших школьников. При дальнейшем совершенствовании методики необходимо, с одной строны, продолжать активную работу по развитию всех читательских умений, с другой — важно усилить работу над умениями интерпретировать и обобщать информацию (особенно при работе с литературными текстами), при работе с информационными текстами необходимо больше внимания уделять умению находить информацию, заданную в тексте в явном виде, формулировать прямые выводы и делать простые заключения. 4. Российским школьникам сложнее давать свободный ответ, чем выбирать ответ из нескольких предложенных, при этом им немного сложнее высказывать свое мнение при работе с информационными текстами. Важно отметить, что при всей очевидности вывода о необходимости в процессе обучения усилить внимание к заданиям со свободным ответом, особенно предполагающим высказывание своей точки зрения с опорой на текст, необходимо как в образовательном процессе, так и в процессе контроля сохранять баланс двух видов заданий: с выбором ответа и со свободным ответом. 5. Ставя задачу закрепить имеющиеся в настоящее время в российской методике обучения младших школьников осознанному чтению достоинства, продолжить работу по ее совершенствованию по выделенным выше направлениям, усилить работу по поиску и распространению лучших педагогических практик, необходимо понимать, что международное сравнительное исследование PIRLS не проверяет всех компонентов читательской деятельности выпускников начальной школы и поэтому важно продолжить анализ того, что же именно в начальной школе, кроме проверяемых в исследовании PIRLS четырех групп читательских умений, может заложить прочную основу для дальнейшего развития читательской компетентности российских школьников. Автор статьи выражает искреннюю благодарность Галине Анатольевне Цукерман за помощь в анализе полученных данных и за высказанные в ходе обсуждения интересные идеи. 1. Основные результаты международного исследования «Изучение качества чтения и понимания текста» PIRLS-2006. М.: Центр оценки качества образования ИСМО РАО, 2007. 2. Mullis I., Martin M., Kennedy A., Foy P. PIRLS-2006 International Report, TIMSS&PIRLS International Study Center Lynch School of Education, Boston College, 2007. 3. PIRLS-2006 Encyclopedia. A Guide to Reading Education in the Forty PIRLS 2006 Countries / еd. A.M. Kennedy, I.V.S. Mullis, M.O. Martin,
134
М.И. Кузнецова
Сильные и слабые стороны читательской деятельности выпускников российской начальной школы
Л
K.L. Trong, Chestnut Hill, MA: TIMSS & PIRLS International Study Cer Boston College, 2007.
Вопросы к тексту «Невероятная ночь»
2. Откуда появился крокодил?
A. Из ванной.
Б. С обложки журнала.
B. Из-под кровати.
Г. Из ближайшей реки.
4. Почему Аня решила, что крокодил собирается атаковать?
A. Он показал длинный ряд зубов.
Б. Он издал громкое шипение.
B. Он начал ворчать и фыркать.
Г. Он двигал хвостом вверх и вниз.
1) 5. Пронумеруй события в том порядке, в котором они произошли в рассказе. Номер 1 уже поставлен.
__Аня увидела крокодила.
__Крокодил съел двух фламинго.
______Аня попыталась объяснить своим родителям, почему разбита дверь.
1 Аня пошла в ванную комнату.
__Аня вбежала в свою комнату и захлопнула дверь.
1)
7. Как была сломана дверь в спальню?
A. Крокодил хвостом пробил дверь.
Б. Большая ваза разбилась о дверь.
B. Фламинго острым клювом ударил в дверь.
Г. Кровать ударилась в дверь.
1)
2) 12. Автор рассказа не сказал нам, приснилось Ане ее приключение или нет.
3) Приведи одно свидетельство того, что это мог быть сон.
4) Приведи одно свидетельство того, что это мог быть не сон.
Вопросы к тексту «Комочек глины»
9. Какие слова в рассказе показывают, что маленькая девочка знала, что она хочет сделать?
A. «Ее пальцы казались восхитительными».
Б. «Маленькая девочка увидела комочек глины около окна».
B. «Девочка держит ее осторожно».
Г. «Ее руки двигались с определенной целью».
13. Какова главная мысль этого рассказа?
А. Люди похожи на глину: их можно изменять и придавать им форму.
Приложение 1
Примеры заданий с максимальными
показателями
135
Теоретические и прикладные исследования
я
Б. В мире много горя.
В. Любая вещь чувствует себя счастливой, когда находит себе применение.
Г. Гончарное искусство — лучший способ нести добро в этот мир.
Вопросы к тексту «В поисках еды»
6. Как мокрицы находят еду?
A. Они перемещаются по проходам.
Б. Они чувствуют еду своими усиками-антеннами.
B. Они следуют по дорожке со следами запаха.
Г. Они видят еду в темноте.
7. Посмотри на рисунок в той части текста, которая посвящена изучению мокриц. Как этот рисунок помогает тебе понять, что надо сделать, чтобы провести эксперимент?
Вопрос к тексту «Антарктида. Ледовый континент»
10. В каком разделе статьи говорится о толщине льда в Антарктиде?
A. «Что такое Антарктида?»
Б. «Погода в Антарктиде».
B. «Пингвины в Антарктиде».
Г. «Письмо из Антарктиды».
Приложение 2
Примеры заданий с минимальными показателями
Вопросы к тексту «Комочек глины»
11. Маленькая девочка — важный персонаж в этом рассказе. Объясни, почему так важна ее роль во всем, что произошло.
12. Автор рассказа пишет о комочке глины как о живом существе. Что он хочет помочь тебе представить?
A. Что значит оказаться под дождем.
Б. Что может чувствовать комочек глины.
B. Что значит работать с глиной.
Г. Что чувствуют, когда делают что-то собственными руками.
Вопросы к тексту «В поисках еды»
12. Объясни, почему землю и песок в бутылку важно насыпать именно слоями.
13. Объясни, почему в эксперименте с дождевыми червями кусочки картофеля и лука важно положить на верхний слой земли.
15. Какой из этих трех экспериментов показался тебе самым интересным? Используй текст, чтобы объяснить свой ответ.
