CC BY
138
ОСОБЕННОСТИ ОРГАНИЗАЦИИ МОНИТОРИНГОВ УЧЕБНЫХ ДОСТИЖЕНИЙ В СТРАНАХ МИРА: НАЦИОНАЛЬНАЯ ОЦЕНКА ПРОГРЕССА В ОБРАЗОВАНИИ В США
ORGANIZING EDUCATIONAL ACHIEVEMENT MONITORING THROUGHOUT THE WORLD: NATIONAL EDUCATIONAL PROGRESS ASSESSMENT IN USA
Вальдман И.А.
Ведущий научный сотрудник Института образования НИУ ВШЭ, кандидат педагогических наук E-mail: [email protected]
Аннотация. В статье на примере американской программы национальной оценки прогресса в образовании NAEP рассматриваются цели национального мониторинга, группы пользователей результатов мониторинга, стратегия распространения информации, формы информирования, информационные продукты и их характеристики.
Ключевые слова: мониторинг учебных достижений, национальная оценка, оценка качества образования, тестирование, уровни достижений, учебные достижения, представление результатов оценки, стратегия распространения информации.
Valdman I.A.
Leading research fellow at the Institute of Education of the Higher School of Education, Candidate of science (Education). E-mail: [email protected]
Annotation. The article examines the main elements of the national assessment program NAEP (The National Assessment of Educational Progress) in USA. Among these elements are goals of the SIMCE, users of assessment results, information dissemination strategy, forms of information, information products and their characteristics.
Keywords: learning achievement monitoring, national assessment, education quality assessment, testing, achievement levels, presentation of assessment results, information dissemination strategy.
Введение
В данной статье на примере опыта США мы продолжаем обсуждение актуальной для России темы организации мониторинговых исследований учебных достижений школьников и использования полученных результатов для управления качеством образования. Как и в статьях, посвященных опыту Австралии и Чили [3; 4], в фокусе внимания данного обзора будут вопросы интерпретации и распространения результатов национального мониторинга обучения среди различных групп пользователей.
США является федеративным государством с высокой степенью автономии и независимости от федерального правительства входящих в него штатов и территорий. По этой причине в стране нет единого образовательного стандарта, учебного плана, единой системы тестирования и других важных атрибутов централизованной системы образования. Каждый штат, муниципалитет, различные частные и общественные организации, являющиеся учредителями образовательных учреждений, несут ответственность за организацию образовательного процесса, установление стандартов и финансирование4. Роль Национального департамента образования ограничивается проведением общественного диалога по ключевым вопросам образования (равенство, доступ, повышение результатов обучения и т.п.) и финансированием через гранты штатам, школам и колледжам реализации некоторых правительственных инициатив2.
В стране существует несколько процедур оценки качества результатов обучения школьников. Некоторые из этих процедур реализуются сугубо на уровне штатов, другие -на национальном уровне.
Во-первых, следует сказать об обязательном тесте на уровне штата. В соответствии с Федеральным законом «Ни одного отстающего ребёнка» (No Child Left Behind, 2001, далее - NCLB) [12, URL] каждый штат должен установить собственные стандарты обучения школьников, а также разработать ежегодный тест для оценки результатов обучения по математике и чтению учащихся 3-8 классов. Такие тесты позволяют отслеживать ежегодный прогресс школ и штатов в достижении установленных стандартов различными группами учащихся (по уровню доходов семьи, этническим группам, наличию специальных образовательных потребностей, степени владения английским языком). Их результаты широко распространяются и обеспечивают подотчётность системы образования перед обществом.
Другая оценочная процедура связана с отбором абитуриентов для обучения в колледжах и университетах Америки. Зачисление в учреждения высшего образования США осуществляется по результатам специального общефедерального теста SAT или ACT. SAT (Scholastic Assessment Test) является тестом способностей, с помощью которого проверяется готовность абитуриента продолжать обучение в вузе. У этого теста
1 Финансирование образования со стороны различных федеральных источников составляет менее 11% от всех расходов на образование. Остальные средства идут из региональных (штаты) и местных бюджетов, а также из частного сектора.
2 http:// www2 .ed.gov/about/overview/fed/role.html
есть версия SAT Subject Tests, которая позволяет проверить предметные знания в соответствии со школьной программой и учитывается рядом колледжей. ACT (American College Testing) является предметно-ориентированным тестом достижений, принимаемым многими высшими учебными заведениями. Нередко вместе с результатами того или иного теста вузы США учитывают результаты обучения в старшей школе, рекомендации учителя, письменное эссе и свидетельства о внеучебных достижениях, например об успехах в спорте.
Ещё один вид оценочных мероприятий, в которых принимает участие США, - это международные сравнительные исследования качества образования PISA, TIMSS, PIRLS. Полученные данные используются для сравнения образовательных достижений американских школьников с международными стандартами и для проведения дополнительных углублённых исследований с целью объяснения причин неудовлетворительных результатов в конкретных областях знаний.
Отдельного внимания заслуживает национальная программа оценки прогресса в образовании NAEP (The National Assessment of Educational Progress), которая даёт представление о состоянии и тенденциях в результатах обучения американских школьников, служит основанием для разработки образовательной политики на уровне страны и штатов. Программа проводится каждые два года на репрезентативной выборке для учащихся 4, 8 и 12 классов.
Именно эта оценочная процедура станет предметом обсуждения в настоящей статье. В тексте будут рассмотрены цели национального мониторинга NAEP и его характеристики, представление результатов оценки, целевые группы и способы их информирования, информационные продукты и их содержание.
Программа национальной оценки NAEP: основные характеристики
Национальная оценка прогресса в образовании NAEP (The National Assessment of Educational Progress) - это систематически проводимая на национальном уровне оценка образовательных достижений, показывающая, что знают и умеют делать американские школьники в рамках конкретных предметных областей. Необходимость проведения такой крупномасштабной оценки закреплена в федеральном законодательстве [13]. За её проведение отвечает Национальный центр статистики в области образования, который является подразделением Департамента образования США (National Center for Education Statistics) [14].
Указанная программа оценки была впервые реализована в 1969 г. Её результаты доказали всему обществу существование неравенства в образовании. Было выявлено, что 17-летние чернокожие школьники читают и считают примерно так же, как 13-летние
белые. Полученные данные не были сюрпризом для работников системы образования, но только после их публикации на федеральном уровне стали принимать меры, направленные на преодоление этой проблемы, и появилась возможность улучшить результаты обучения чернокожих школьников.
Цель NAEP - получить надёжную и полную информацию для оценки прогресса в обучении школьников и разработать меры по улучшению образования в стране. Национальный мониторинг является инструментом для сравнения образовательных достижений школьников на уровне страны и штатов и даёт ответы на следующие ключевые вопросы:
• Как изменяются с течением времени результаты обучения американских школьников по конкретным учебным предметам?
• Сокращается ли разрыв в результатах обучения разных групп американских школьников (по уровню дохода, этнической принадлежности, ограниченными возможностями здоровья и др.)?
• Как результаты обучения школьников конкретного штата выглядят на фоне результатов страны?
NEAP используется для проверки знаний и навыков учащихся 4, 8 и 12 классов
по следующим предметным областям: математика, английский язык, обществоведение, письмо, искусство, экономика, география, технологическая и инженерная грамотность (проверяется с 2014 г.), история США. Монито-ринги по различным предметам проводятся с различной периодичностью: 1 раз в 2 года оцениваются математика и чтение, 1 раз в 4 года - естественные науки и письмо, остальные предметы - реже.
Оценка проводится на репрезентативной национальной выборке школ, а также на репрезентативной выборке школ на уровне штата3. NAEP не даёт информации относительно результатов отдельных учащихся и школ,
3 На национальном уровне в выборку входят государственные и частные школы, на уровне штата -только государственные образовательные учреждения.
Всякий национальный мониторинг является инструментом обеспечения подотчётности системы образования перед обществом. Он делает открытой и доступной информацию о результатах обучения детей. Опубликованные данные начинают широко обсуждаться в обществе, принимаются конкретные меры, направленные на преодоление существующих проблем. Раскрыв информацию о результатах обучения, нельзя не раскрыть информацию о принятых решениях и результатах их реализации.
Проведение национального теста на выборке учащихся позволяет не только значительно экономить финансовые ресурсы, но и ограничивает возможность неправомерного использования результатов оценки, например наказания учителей и школ. Подход, основанный на выборке, снижает ставки оценочной процедуры и лишает её участников и организаторов негативных стимулов для повышения результатов теста разными способами, иногда незаконными: обучение под тест, списывание, фальсификация результатов и т.п.
что делает названный метод оценки измерением с низкими ставками [1] без негативных последствий для школ, учителей и учеников.
Результаты обучения оцениваются на основании стандартизированных тестов, в которые входят задания с множественным выбором и конструированием ответа. В зависимости от предмета ученик тратит на выполнение теста от полутора до двух часов. Постепенно тестирование NAEP переводится на компьютерную основу. В 2011 г. в формате компьютерного тестирования проводилась оценка по письму для учащихся 8 и 12 классов, в 2014 г. в новом формате прошла оценка по технологической и инженерной грамотности.
В США не существует единого национального стандарта или учебного плана, каждый штат имеет собственный стандарт обучения со специфическими особенностями и требованиями. В связи с этим рамка для создания единого национального теста по каждому предмету включает такие элементы содержания конкретного учебного предмета и мыслительные навыки, которые могут продемонстрировать все ученики независимо от места своего проживания и обучения. В таблице 1 приведён пример оцениваемого в тесте содержания по математике и чтению [9, URL].
Рамка теста NAEP является предметом профессиональной договорённости и консенсуса многих специалистов системы образования из разных штатов (учителей, методистов, специалистов по разработке стандартов и др.).
В дополнение к тестам в мониторинге NAEP используются анкеты для сбора контекстной информации. Они позволяют получить данные о факторах, влияющих на результаты обучения, а также дают возможность представить результаты теста по различным группам учащихся в соответствии с требованиями федерального законодательства. Применяется четыре вида анкет:
Таблица 1
Области оценки по математике и чтению.
Математика Чтение
Оцениваются математические знания и навыки, а также способность учащихся их применять в ситуациях, требующих решения проблем. Области оценки: числа и операции с ними, измерения, геометрия, анализ данных, статистика и вероятность, алгебра Оценивается понимание школьником прочитанного на основе текстов двух видов: • художественный текст, включающий прозаические и поэтические фрагменты. • информационные тексты, включающие фрагменты с описанием ситуации, аргументацией и документированными фактами
Пример США показывает, что в странах, где нет единого образовательного стандарта, его роль может играть национальный мониторинг обучения. Ведь для его проведения представителям системы образования необходимо договориться и определить некий инвариантный набор знаний и навыков, которые могут оцениваться у всех школьников независимо от места их проживания.
• анкета для школьников - для сбора информации о демографических характеристиках, опыте обучения в школе;
• анкета для учителей - для сбора информации о подготовке и повышении квалификации, методах и практике преподавания (заполняется учителями 4 и 8 классов);
• анкета для школ - для сбора информации о характеристиках образовательного процесса и школы в целом (заполняется администрацией школы);
• анкета для школьников с ограниченными возможностями здоровья и неродным английским языком (заполняется педагогами и сотрудниками школы, которые непосредственно работают с данными учащимися).
В мониторинге NAEP используется стандартизированная процедура администрирования теста, контролируемая на всех этапах её проведения. В качестве организаторов тестирования в классах привлекаются официальные члены команды NAEP, прошедшие специальную подготовку. При тестировании организационную помощь школам оказывает назначенный школьный координатор. Сотрудники образовательного учреждения, участвующего в тестировании, не допускаются к проведению оценки. В данном случае используется тот же подход, что и в национальном мониторинге SIMCE в Чили [4, URL]: учителя исключены из процесса оценки. Такой подход позволяет повысить надёжность процедуры оценки и достоверность её результатов. Но он имеет и отрицательные стороны, так как учителя не получают опыта и знаний, которые они могли бы использовать в своей непосредственной работе с учащимися.
МАТЕМАТИКА Балл
эии1 320310300290280270260250240230220210200Л
304 о
266 о
300 о-.
264 -
298
269
•О--'
302 -о--
269
305 307 306
.0--Ю---0--
307
308
■ ■■ "О1 1
219 о
219
о»--
219
222
270 ШЖ.Д
-О-""^ т
230 230 231 231 232
..--О'
306
о 17 лет
13 лет
ж cfu 9 лет
73
'78 '82
'90 '92 '94 '96 '99
'04 '08
Год
Рис. 1. Тенденции в результатах обучения по математике учащихся 9, 13 и 17 лет
с 1972 по 2012 гг. [11, URL]
Как уже отмечалось выше, наряду с оценкой результатов обучения на национальном уровне NAEP даёт картину и на уровне штатов. С 1990 г. штаты и другие юрисдикции страны получили возможность добровольно участвовать в NAEP также на основе репрезентативной выборки. С 2001 г. после принятия Конгрессом США Закона NCLB участие в национальном мониторинге обязательно для всех штатов, получающих целевые федеральные гранты для школ, в которых обучаются дети из семей с низким доходом. В соответствии с этим Законом штаты должны участвовать в оценке по математике и чтению. По остальным предметам участие добровольное. NAEP на уровне штатов также не даёт данных по конкретному ученику и школе, но представляет результаты по классам и группам учащихся.
По аналогичной схеме с 2002 г. NAEP проводится и на уровне крупных городских округов (Trial Urban District Assessment).
Ещё одной важной особенностью национального мониторинга NAEP является проведение в его рамках дополнительного исследования, разработанного специально для отслеживания долгосрочных тенденций в обучении начиная с 1971 г. (Long-term trend assessments). В этом исследовании принимают участие ученики в возрасте 9, 13 и 17 лет. Оценка проводится по двум основным предметам - математика и чтение. Результаты не могут быть напрямую сопоставлены с результатами национального мониторинга NAEP, так как в этом исследовании используются другие типы заданий и выборка учащихся организована по возрасту, а не по классам.
Представление результатов теста NAEP
Результаты национальной оценки прогресса в образовании представляются двумя основными способами - через средний балл теста и уровни достижений4.
Средний балл5 показывает, что ученик знает и умеет. Уровни достижений показывают, в какой степени результаты ученика соответствуют тому, чтобы ученик должен знать и быть способен делать (например, применять свои знания). В NAEP выделены три уровня достижений:
• базовый (Basic) - частичное владение знаниями и навыками, необходимыми для успешного обучения;
• хороший (Proficient) - свидетельствует о прочных знаниях и навыках, способности их применять в реальных ситуациях;
• продвинутый (Advanced) - уровень очень высоких достижений.
4 Показателем является доля школьников, результаты которых соответствуют конкретному уровню достижений.
5 Измеряется по шкале от 0 до 500 баллов (для математики, чтения, истории Америки, географии) или от 0 до 300 баллов (для естественных наук, письма, обществоведения)
8 класс
Год
2013 2011 1992
% 100 90 80 70 60 50 40 30 20 10 0 10 20 30 40 50 60 100
Рис. 2. Результаты NAEP по уровням достижений по чтению учащихся 8 класса
за 1992, 2011 и 2013 гг. (%)
Таблица 2
Группы учащихся, по которым представляются результаты NAEP.
Признак группы Представление результатов
Гендерный состав Результаты публикуются отдельно по мальчикам и девочкам
Расовый и этнический состав Результаты теста представляются по следующим расовым и этническим подгруппам: белые, чернокожие, или афроамериканцы, испаноязычные, азиаты, коренные гавайцы или жители других тихоокеанских островов (Океании), американские индейцы или коренные жители Аляски (эскимосы), две и более расы
Участие в национальной программе школьного питания Результаты теста даются по двум группам школьников: участвующих в программе школьного питания и не участвующие в ней. Программа школьного питания используется в качестве индикатора бедности. Учащиеся из наименее обеспеченных семей в зависимости от уровня доходов получают школьное питание бесплатно или по сниженной цене
Изучение английского языка В эту группу входят учащиеся, для которых английский язык не является родным. Для нее отдельно рассчитывается средний балл теста.
Тип школы На национальном уровне результаты теста представляются в отношении государственных, католических, различных частных школ, школ для индейцев, школ министерства обороны. На уровне штата итоги ЫАЕР подводятся только по государственным школам.
Расположение шко-лы Результаты ЫАЕР представляются в зависимости от типа населённого пункта, в котором проходят обучение школьники, - крупный город, пригород, малый город, сельский населённый пункт.
Образование родителей Ученики 8 и 12 классов указывают в анкете для школьника уровень образования своих родителей. Результаты теста представляются по группам: родители с высшим образованием, со средним образованием и не получившие полного школьного образования.
Белые
25 24 Разница баллов 143 Чернокожие
Балл теста
300 -1 180 : 170 -160 -150 -140 -130 -120 -110 0
Белые
Разница баллов Испаноязычные
26
10 Год
^06 То Го7
Рис. 3. Тенденции, отразившиеся в результатах обучения по обществоведению у учащихся 4 классов разных этнических групп (средний балл теста и разница в баллах) [10, URL]
В итоговых отчётах вводится дополнительный уровень ниже базового, и результаты представляются в форме диаграмм по доле учащихся на каждом их четырёх уровней и по данным нескольких лет (рис. 2) или по целевым группам учащихся.
Как уже отмечалось ранее, в NAEP итоги оценки подводятся не только на уровне страны (штата, городского округа), но и по группам учащихся и школ. Результаты по каждой из групп публикуются, если число учащихся - участников мониторинга не меньше необходимого минимума (не менее 62 школьников из не менее чем пяти местных территорий). В национальном мониторинге выделяется несколько таких групп (см. таблицу 2).
На рисунке 3 можно видеть пример представления результатов теста NAEP по некоторым этническим группам учащихся. Цель такого представления - показать, сокращается ли разрыв в образовательных достижениях белокожих школьников и учащихся других этнических групп. На основании этих данных можно судить, насколько результативными были предпринятые ранее меры, направленные на преодоление образовательного неравенства.
Обратим внимание, что шкалы для оценки достижений по различным предметам являются независимыми, поэтому средние баллы
Формат представления результатов, включая подбор конкретных графиков и диаграмм, определяется ключевыми целями образовательной политики в стране (штате). Если стоит цель повысить результаты обучения всех школьников страны, используются графики с динамикой среднего балла по годам (см. рис. 1). Если приоритет состоит в снижении числа учащихся, не достигающих некоторого минимального или базового уровня результатов, в отчёты включаются диаграммы с распределением результатов по уровням достижений и в динамике по годам (см. рис. 2). Если необходимо улучшить результаты обучения различных миноритарных и специфических групп учащихся, то нельзя обойтись без графиков, подобных графику на рисунке 3.
и результаты теста по уровням достижений по разным предметам не могут сравниваться. При этом сравнение происходит по годам по каждому конкретному предмету, а также по различным группам учащихся одного класса.
Информирование представителей целевых групп
Одним из важнейших условий эффективного использования результатов любой оценочной процедуры является наличие разнообразных информационных продуктов, ориентированных на удовлетворение информационных потребностей различных целевых групп [2, URL]. Американские специалисты придают очень большое значение интерпретации результатов NAEP под запросы различных пользователей, подготовке целевых информационных материалов и их распространению. Корректное использование данных программ оценки требует эффективной стратегии распространения результатов и точной интерпретации обнаруженных фактов [8, URL].
Информация по результатам оценки NAEP публикуются для широкого круга представителей разных групп, каждая из которых имеет свои интересы, отличается своим уровнем подготовки и способностью понимать и интерпретировать имеющиеся данные о достижениях учащихся. В национальном мониторинге информация ориентирована на следующие целевые группы:
• чиновники и государственные служащие федерального уровня и уровня штатов (члены Конгресса, президент и члены его администрации, министр образования и иные члены Правительства, специалисты Департамента образования США и других федеральных агентств, губернаторы штатов, законодатели, специалисты департаментов по образованию штатов);
• управленцы системы образования на местном уровне (члены управляющих советов школ, руководители и специалисты местных органов управления образованием);
• работники школ (директора и учителя);
• исследователи и научные работники в сфере образования;
• общественность (родители школьников, налогоплательщики, члены различных общественных организаций и ассоциаций, представители бизнеса);
• средства массовой информации (журналисты и корреспонденты печатных и интернет-изданий, радио и телевидения).
После проведения оценки результаты NAEP представляются общественности в различных формах. Сначала отметим формы представления результатов, которые широко используются практически всеми целевыми группами. Затем обратим внимание на некоторые целевые информационные продукты, предназначенные для конкретных групп пользователей.
Главным источником информации о результатах национального мониторинга является сайт национальных докладов [15], на котором представляются все результаты NAEP в самых разных формах - графики, диаграммы, различные доклады, базы данных
Nation?
Report Card
и онлайн сервисы для конструирования отчётов под запросы конкретного потребителя.
На этом сайте размещён раздел Инструменты для работы с данными (Data Tools, http://nationsreportcard.gov/data_ tools.aspx), который включает следующий набор инструментов для работы с аналитикой:
• Сервис для анализа данных (NAEP Data Explorer) Даёт возможность формировать статистические таблицы, диаграммы и графики для получения ответов на вопросы пользователя. Позволяет представлять результаты с учётом самых разных контекстных факторов, получаемых с использованием анкет для учеников, учителей и школ.
• База данных с вопросами теста NAEP (NAEP Questions Tool)
Содержит более 2000 вопросов по девяти предметным областям из последнего цикла мониторинга. Вопросы помещены в открытом доступе и не используются повторно в последующих циклах NAEP. База позволяет подбирать вопросы теста по предметам, классам, сложности и другим характеристикам, а также даёт информацию о доле правильных ответов учащихся на эти вопросы на уровне штата и страны.
• Карты заданий (NAEP Item Maps)
В данных картах на примере заданий теста из предыдущих циклов NAEP показано, какие знания и навыки демонстрируют учащиеся на разных уровнях достижений (базовый, хороший, продвинутый) в соответствии с разными баллами шкалы теста. Каждая карта формируется в привязке к предмету, классу и году проведения оценки. Каждому заданию соответствует число баллов, достижение которых позволяет решать данное задание большинству учащихся.
• Сервис по сравнению штатов (State Comparisons)
Позволяет конструировать таблицы и географические карты, которые представляют результаты штатов и территорий в сравнении по среднему баллу для различных групп учащихся из государственных школ. Сравнение возможно как в рамках конкретного года оценки, так и между годами, в которые проводился мониторинг.
• Профиль штата (State Profile) В этом разделе представлены ключевые данные (средние баллы, уровни достижений) о результатах NAEP для учащихся 4 и 8 классов конкретного штата по математике, чтению, письму и естественным наукам. Данные приводятся в сравнении с аналогичными результатами по стране.
Важнейшим информационным продуктом, который ориентирован на самые разные
Наличие богатого набора онлайн сервисов и инструментов на сайте нацио -нальных докладов [15] позволяет получать данные под специфические запросы самых разных пользователей. Одновременно с этим отпадает необходимость в публикации большого количества печатных материалов (отчётов, докладов, справок и т.д.), необходимая информация становится доступной (и по оперативности, и по качеству визуального представления данных, с точки зрения системы навигации) через Интернет.
целевые аудитории, является краткий отчёт (Snapshot report) по штату (территории). Он отражает основные результаты NAEP по конкретному предмету и классу за конкретный год, в который проходила оценка. Отчёт представляет собой документ объемом в одну страницу формата А4, содержащий шесть смысловых блоков информации:
• общие результаты (средний балл штата, сравнение с предыдущей оценкой, процент школьников на определённом уровне, разница между высокими и низкими результатами);
• диаграмма с результатами теста по уровням достижений по годам;
• географическая карта страны, на которой с помощью цветовой индикации представлены результаты штата в сравнении с другими штатами страны;
• график результатов NAEP штата и в целом по стране по годам;
• таблица с результатами (средний балл и уровни достижений) по различным группам учащихся;
• разница баллов для групп учащихся между годом оценки и более ранним периодом.
С примером краткого отчёта по математике (4 класс) для штата Техас за 2013 г. можно
ознакомиться в Приложении на с. 30.
Важную роль в проведении политических дебатов и профессионально-общественного обсуждения играют специальные доклады, которые фокусируются на различных контекстных характеристиках системы образования, оказывающих непосредственное влияние на результаты обучения американских школьников.
Приведём примеры некоторых тем таких докладов:
1. Результаты 2013 г. по математике и чтению у школьников США.
2. Тенденции в академических достижениях школьников страны с начала 70-х гг. ХХ в. по 2012 г.
3. Анализ образовательных достижений школьников в пяти самых крупных штатах страны.
4. Разрывы в достижениях белокожих и испаноязычных школьников - учащихся государственных школ.
5. Американские штаты в глобальном контексте: сравнение результатов исследований NAEP и TIMSS в 2011 г.
Кроме того, публикуются национальные доклады, в которых данные NAEP являются важной, но не единственной частью. Такие доклады готовятся на основе данных государственной статистики по образованию. Например, «Ситуация и тенденции в обучении школьников различных расовых и этнических групп» или «Состояние образования в сельской Америке».
Перечисленные информационные продукты - доклады, отчёты, онлайн-сервисы и т.п. - доступны для всех заинтересованных пользователей. Кроме того, каждая целевая группа пользователей получает дополнительную информацию, ориентированную именно на неё. Для этого на сайте NAEP создан специальный раздел Информация для, включающий подразделы, ориентированные на родителей, школьников, представителей системы образования, политиков и управленцев, педагогов, исследователей и СМИ. Вот как выглядит целевая информация в разрезе групп пользователей.
Рис. 4. Информация для родителей о мониторинге NAEP
Информация для родителей
В доступном для понимания виде представлена информация о NAEP и его особенностях (рис. 4), даны ответы на самые важные для родителей вопросы относительно участия в тестировании их ребёнка: Как наша школа и мой ребёнок были отобраны для участия в тесте? Сохраняется ли конфиденциальность результатов? Как будут использоваться результаты по отношению к моему ребёнку? Нужна ли специальная подготовка ребёнка к тесту? и т.д.
Информация для школьников
Ученики получают возможность познакомиться с примерами заданий и прямо на сайте пройти пробное тестирование по любому предмету, чтобы проверить уровень своей подготовки. Кроме того, школьникам объясняется, почему их участие в мониторинге очень важно.
Информация для учителей
Учителям адресуется информация, которая будет полезна им в непосредственной работе. Это примеры заданий и описание оцениваемого в тестах содержания конкретного учебного предмета, образцы открытых заданий из базы NAEP для конструирования собственных тестов и применения их в учебном процессе, информация об образовательных факторах, оказывающих влияние на достижения школьников, результаты теста конкретного года и основные трудности (ошибки), выявленные у учащихся. Также учителя имеют возможность проверить уровень своих знаний по предмету, отвечая на вопросы теста. По завершении теста учитель получает свои результаты и видит, как на эти же вопросы отвечали школьники.
Информация для политиков и управленцев
На сайте имеются онлайн-сервисы для быстрого доступа к данным, представленным в наглядном виде и имеющим небольшой объём. Это сравнение штатов, профили штатов и городских округов, краткие отчёты по предметам, информация об образовательных факторах, влияющих на обучение.
Информация для средств массовой информации
Стратегия работы со средствами массовой информации при проведении национального мониторинга состоит в подготовке и распространении целого ряда общих и специальных информационных продуктов, ориентированных на СМИ. Все они размещены на специальной странице сайта Национальных докладов, посвященной результатам обучения (Nation>s Report Card), среди которых:
• пресс-релизы и официальные заявления руководителей по результатам проведения оценки;
• интерактивные таблицы с данными в разделе сайта «Только факты», которые могут самостоятельно конструироваться любым журналистом;
• архив видео-роликов и проведённых вебинаров, на которых представлялись результаты и доклады по итогам оценки;
ссылки на другие ресурсы, которые могут быть полезны для представителей СМИ.
Информация для исследователей
Данная целевая группа обеспечивается детальной информацией, позволяющей проводить различные углублённые исследования. Необходимо назвать четыре основных ресурса:
1) онлайн-сервис для анализа данных (описан выше);
2) техническая документация по самым разным аспектам организации NAEP;
3) информация о тренингах и семинарах по вопросам анализа данных;
4) библиотека NAEP, содержащая различные материалы и ресурсы (отчёты, доклады, руководства, словарь терминов, архив ранних материалов и т.п.).
Таким образом, ещё раз подчеркнём специфику мониторинга NAEP: используемая стратегия распространения результатов основывается на широком информировании работников системы образования и общественности о результатах обучения американских школьников. Как следствие, создаётся основа для обсуждения имеющихся достижений и проблем образования как на политическом уровне (руководство страны, штатов, школьных округов), так и на уровне профессионального сообщества.
с Отметим, что в отличие от тестов штатов национальный мониторинг не может прямо повлиять на практику работы школы и учителя. В ЫАЕР участвуют не все школы и учащиеся, и образовательные стандарты штатов различны. Воздействие ЫАЕР на образовательную политику происходит за счёт открытости информации, что создаёт условия для её максимально широкого обсуждения. Как только информация становится открытой, ее начинают использовать как потребители, так и производители образовательных услуг. Управленцы и политики не могут игнорировать реальные проблемы, если обществу они хорошо известны.
NAEP и тесты на уровне штатов
Кроме своего непосредственного предназначения - давать картину результатов обучения американских школьников - национальный мониторинг выполняет ещё одну важную функцию. Начиная с 2003 г. NAEP используется для сравнения стандартов достижений хорошего уровня (proficient) по чтению и математике, установленных в тестах штатов. Для этого баллы теста штата пере-считываются в так называемый эквивалент балла NAEP.
Напомним, что в соответствии с Федеральным законом NCLB каждый штат должен разработать такие тесты и ежегодно использовать их для оценки достижений всех учащихся 3-8 классов. Результаты обучения оцениваются по отношению к образовательному стандарту штата, который не должен быть заниженным и упрощённым.
Результаты теста штата открыто публикуются в форме коротких докладов (Report Card), подобных аналогичным докладам программы NAEP. Поскольку Закон NCLB требует повышения достижений у всех групп детей, результаты теста также представляются по каждой отдельной группе учащихся (этнические группы, дети с ограниченными возможностями, ученики с неродным английским языком, школьники из семей с низким уровнем дохода и т.п.).
Закон также требует, чтобы штаты (и школы) демонстрировали адекватный ежегодный прогресс (adequate yearly progress, AYP) в результатах теста. Целевая установка Закона NCLB - чтобы все дети к 2014 г. достигли хорошего уровня результатов по итогам теста. При этом штаты сами решают, какой балл теста соответствует хорошему уровню. Именно прирост этого балла принимается за адекватный ежегодный прогресс. Если школа не обеспечивает такого прогресса, возможны различные санкции:
• перевод учащихся в другую школу;
• введение дополнительных занятий с учащимися (за счёт бюджета школы);
• корректирующие воздействия: замена учителей, введение нового учебного плана, увеличение времени обучения (также за счёт школьного бюджета);
• реструктуризация (закрытие школы, изменение правового статуса, передача под управление частной компании или департаменту образования штата).
Таким образом, тест штата играет роль измерения с высокими ставками, по итогам которого возможны негативные последствия. Эта ситуация напрямую отражается на установлении пороговых значений для уровней достижений в тесте штата (см. рис. 5).
Сопоставление со шкалой NAEP результатов теста штата даёт возможность понять, не занижаются ли на местном уровне стандарты обучения и уровни достижений. Сравнение проходит по следующей схеме.
В сравнении участвуют результаты одних и тех же учащихся - тех, кто проходил оценку в тесте штата и одновременно попал в выборку штата при проведении NAEP. Пусть в тесте штата А 70% учащихся, участвующих в NAEP, достигли хорошего уровня достижений (по стандарту штата). Тогда эквивалентом балла NAEP считается балл, не ниже которого
No Child
LEFT BEHIND
500 250 240230220210 -200190180170 160 О
Хороший уровень (Proficient)
I
ХМ
jMO
KJ
Базовый уровень (Basic)
II 1>
-го«« al
TjlilpI ZXlIigSSiiii"
цПДН"4 ""
* Эквивалент балла NAEP Границы ошибки измерения
Рис. 5. Сопоставление баллов, соответствующих хорошему уровню достижений в тестах штатов6 по чтению для 4 класса, с эквивалентом балла NAEP в 2009 г. [6]
набрали 70% школьников штата в выборке ЫАЕР. Если, например, 70% школьников показали результат на уровне 240 баллов и выше, то 240 баллов считается эквивалентом балла ЫАЕР хорошего уровня для стандарта штата.
Если штат демонстрирует прогресс в рамках своего теста, но при этом его сравнительный прогресс по шкале ЫАЕР незначителен, то может выдвигаться предположение, что стандарты штата и задания теста недостаточно амбициозны и высоки. При этом Закон не предусматривает каких-либо штрафных санкций, если тестовый балл штата отстаёт относительно его результатов в ЫАЕР, но требует, чтобы сравнительные результаты были преданы огласке и обнародованы.
Исследование 2009 г. [7], посвящённое сопоставлению шкал тестов штатов и теста ЫАЕР, показывает значительную разницу в порогах хорошего уровня между штатами. Эта разница составляет от 60 до 71 балла по шкале ЫАЕР в зависимости от класса и учебного предмета. При таком разбросе, конечно, невозможно говорить о достижении равенства образовательных возможностей школьников во всей стране.
Явное занижение требований при установлении стандартов уровней достижений в тестах штатов можно объяснить следующим образом. Тесты на уровне штатов являются процедурой оценки с очень высокими ставками. Штаты (школы) должны демонстрировать адекватный ежегодный прогресс. В случае его отсутствия возможны серьёзные санкции и лишение финансирования, поэтому штату невыгодно сразу устанавливать высокие пороги для уровней достижений, так как будет трудно обеспечивать прирост результатов. Гораздо проще установить невысокую планку и затем спокойно обеспечивать прибавку баллов теста.
6 На графике под каждым отдельным значением указано общепринятое в США сокращение названия штата (например, ЫУ - штат Нью-Йорк, МА - штат Массачусетс).
На рисунке 5 показано, что ни в одном из штатов США их собственный стандарт хорошего уровня не достигает стандарта хорошего уровня в NAEP. При этом в 35 штатах данный стандарт по чтению для 4 класса даже ниже стандарта базового уровня по NAEP. А это означает, что ученики в этих штатах не только не имеют прочных знаний и навыков (что соответствует хорошему уровню достижений), а даже частично не владеют необходимыми знаниями и навыками, необходимыми для успешного обучения (базовый уровень).
Вместо заключения: важные уроки программы NAEP
Завершая краткий обзор некоторых аспектов организации национального мониторинга NAEP, отметим те его особенности, которые оказывают непосредственное влияние на распространение и использование информации по оценке.
1. NAEP как прообраз национального образовательного стандарта.
США - страна с федеративным устройством, в которой все вопросы образовательной политики лежат в сфере ответственности штатов. Такая автономия не позволяет формировать единое образовательное пространство страны - каждый штат имеет свои образовательные стандарты. В этих условиях мониторинг становится некоторым прообразом национального образовательного стандарта. Содержание тестов NAEP является ориентиром для школ страны, так как отражает некий инвариантный набор знаний и навыков, которые могут оцениваться у всех школьников независимо от места их проживания.
2. Национальный мониторинг как измерение с низкими ставками.
NAEP изначально был задуман как оценочная процедура с низкими ставками, не от-ягощённая возможными негативными последствиями по отношению к школам, учителям и ученикам. Это обеспечивается за счёт проведения тестирования на репрезентативных выборках школ (национальной и по штатам). Кроме того, по итогам мониторинга ученики не получают индивидуальных баллов и не готовятся отчёты по школам. В результате мониторинга невозможно строить рейтинги школ и оценивать качество их работы.
3. В фокусе внимания различные группы учащихся.
Одной их приоритетных задач образовательной политики Америки является улучшение результатов обучения различных групп учащихся, а также уменьшение разрыва между школьниками из семей с высоким социально-экономическим статусом и представителями миноритарных групп. С этой целью в рамках мониторинга собираются контекстные данные (прежде всего, на основании специально подготовленных вопросников), позволяющие выделять и представлять результаты теста по группам школьников: гендер-ный состав; расовый и этнический состав; уровень дохода семьи; ученики, для которых английский язык неродной; уровень образования родителей. Эти данные могут использоваться при разработке программ поддержки слабых школ и ущемлённых групп учащихся.
4. Ориентация на различные группы пользователей при распространении результатов.
Американские специалисты придают очень большое значение интерпретации результатов NAEP под запросы различных пользователей, подготовке целевых
информационных материалов и их распространению. На сайтах программы NAEP (www.nationsreportcard.gov, www.nces.ed.gov) в специальных разделах размещена информация, ориентированная на конкретные целевые группы (политики и управленцы, исследователи, учителя, школьники и их родители, СМИ). Кроме того, сайты содержат очень богатый набор самых разных информационных ресурсов и источников: графики, диаграммы, различные доклады, базы данных и онлайн-сервисы для конструирования различных отчётов под запросы конкретного потребителя. Стратегия распространения результатов мониторинга основывается на широком информировании общества и работников системы образования о результатах обучения американских школьников.
5. Проведение дополнительных исследований в рамках NAEP.
Кроме основного тестирования по предметам в рамках NAEP проводится несколько дополнительных углублённых исследований, которые базируются на данных национального мониторинга и иных данных, собираемых специально. Тематика этих исследований связана с различными аспектами образовательной политики: отслеживание долгосрочных тенденций в обучении, разрывы в достижениях различных групп школьников, достижения учащихся в частных школах, сопоставление стандартов оценивания в NAEP и тестах штатов, сравнение математической подготовки американских школьников в NAEP и TIMSS, результаты обучения американских индейцев и жителей Аляски. Такой подход расширяет возможности интерпретации и использования результатов теста NAEP.
ПРИЛОЖЕНИЕ
Пример краткого отчёта (Snapshot report) по итогам теста NAEP по математике для учащихся 4 класса штата Техас за 2013 г.
Nation*,^мати.ка ..
Report Card 2013 Кратким отчет по штату
4 класс
Государственные школы
Общие результаты
■ В 2013 году средний балл учащихся 4 класса Техаса составил 242 балла. Это не отличается значимо от результата учеников государственных школ всей страны [241 балл).
■ Средний балл школьников Техаса в 2013 г. <242) че отличался значительно от своего среднего балла в 2011 г. (241) и был значительно выше своего среднего балла в 1992 г. (21&).
■ Разница в баллах между учащимися с высокими результатами (75 процентиль) и низкими результатами (25 процент иль) составила в 2013 г. 38 баллов. Эта разница не отличав теп значимо от разницы 1992 г. (40 баллов).
■ Процент школьников Техаса, кто достиг Продвинутого уровня в МЕР, составил 41% в 201Э г. Этот процент не отличается значимо от 2011 г, (39%) и значимо выше, чем в 1992 г, (15%).
■ Процент школьников Техаса, кто достиг базового уровня и выше, составил 84% в 2013 г. Этот процент не отличается значимо от 2011 г. (85%) и значимо выше, чем в 1992 г. (56%).
Результаты по уровням достижений (%) и среднему баллу
Техас | Средний балл
1992 ■ 44 1 41 ~14~11 213
1996 L 31 44 11 1 229
2000 I 23 ■ 50 25 □2 233
2000 КШ1 50 24 12 231
2003 EE 49 29 ■: 237
2005 сг 47 35 242
2007 ев: 47 35 В: 242
2005 пт 47 34 _Щ 240
2011 кж. 46 34 241
2013 шш 4ä 34 ы 242
Страна
2013 КЗ I 41 34 241
Процент на Базовом. Процент мп Хорошем
у pool ГС IS нкже уровне Н GÜILLC
| Ниже баяовеяо [ I Базовый ( | Хороши
| Продвинутый
Результаты для групп учащихся в 2013 г.
% уч-ся на урооне или выше
% Группы учащихся учащими с цад, балл Сланный Хороший' на уровм продвинутый
Расовый/ Этнический состав
Белые 30 255 94 61 13
Чернокожие 14 231 76 24 1
Испаноязычные 51 235 79 30 3
Азиаты 3 274 97 85 40
Американские индейцы/жители Аляски # X X * г
Гавайцы! жители Океании Я * X * X
Две а йолее расы 2 253 93 57 14
Тендерный состав
Мальчики 51 242 84 42 8
Девочки 49 242 85 40 6
Нац. программа школьного литания
Участники 53 233 78 28 2
Не участники 36 256 95 63 15
Разница баллов для групп учащихся
■ В 2:013 г. средний балл Чернокожих учащихся был на 24 пункта ниже, чем у Белых школьников, Эта разница значительно меньше в сравнении с 1992 г. (31 пункт).
■ В 2013 г. средний балл у Испаноязычных учащихся был на 20 пунктов ниже, чем у Белых школьников. Эта разница значимо не отличается от разницы в 1992 г. (22 пункта),
■ В 2013 г. средний балл у мальчиков Техаса не отличался значимо от среднего балла девочек.
■ В 2013 г. ученики, получавшие школьное питание бесплатно или по сниженной цене (индикатор низкого дохода семьи), имели средний балл на 23 пункта ниже в сравнении со школьниками, не участвующими в программе школьного питания. Эта разница значимо не отличается от разницы в 1996 г. (25 пунктов).
Список литературы:
1. Болотов, В. А. Виды и назначение программ оценки результатов обучения школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2013. - № 8. -С. 15-26.
2. Болотов, В. А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижения школьников / В. А. Болотов, И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : научно-информацион. журнал. - 2012. - № 6. - Режим доступа к журн. : http://www.pmedu.ru, свободный.
3. Вальдман, И. А. Мониторинговые исследования качества образования: опыт Австралии / И. А. Вальдман // Журнал руководителя управления образованием. -2013. - № 4. - С. 43-51.
4. Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки SIMCE в Чили /
В. А. Болотов // Проблемы современного образования [Электронный ресурс] : научно-информацион. журнал. - 2013. - № 5. - Режим доступа к журн. : http:// www.pmedu.ru, свободный.
5. Поливанова, К. Н. Национальные и международные программы оценки качества образования : учеб. пособие / К. Н. Поливанова. - М. : МВШСЭН, 2010. -154 с.
6. Bandeira de Mello, V. Mapping State Proficiency Standards Onto the NAEP Scales: Variation and Change in State Standards for Reading and Mathematics, 2005-2009 / V. Bandeira de Mello ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. - Washington: Government Printing Office, 2011.
7. Bandeira de Mello, V. Mapping State Proficiency Standards Onto NAEP Scales: 20052007 / V. Bandeira de Mello, C. Blankenship, D. H. McLaughlin ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. -Washington: Government Printing Office, 2009.
8. Jaeger, R. M. Reporting the Results of the National Assessment of Educational Progress (1998) / Richard M. Jaeger ; National Center for Education Statistics ; American Institutes for Research // AIR [Электронный ресурс]. - Режим доступа : http:// www.air.org.
9. The Nation's Report Card: A First Look: 2013 Mathematics and Reading / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Электронный ресурс]. - Режим доступа : http://nces. ed.gov.
10. The Nation's Report Card: Civics 2010 : National assessment of educational progress at grades 4, 8 and 12 / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Электронный ресурс]. - Режим доступа : http://nces.ed.gov.
11. The Nation's Report Card: Trends in Academic Progress 2012 / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Электронный ресурс]. - Режим доступа : http://nces.ed.gov.
12. No Child Left Behind Act of 2001 // U.S. Department of Education = Департамент образования США [Электронный ресурс] : офиц. сайт. - Режим доступа : http:// www.ed.gov.
13. Public Law 100-297 / National Assessment of Educational Progress Improvement Act, Article № USC 1221. - Washington, D.C., 1988.
14. National Center for Education Statistics = Национальный центр статистики в области образования [Электронный ресурс] : офиц. сайт. - Режим доступа : http:// nces.ed.gov.
15. The Nation's Report Card = Сайт национальных докладов [Электронный ресурс]. - Режим доступа: http://nationsreportcard.gov.
Spisok literatury:
1. Bolotov, V. A. Vidy i naznachenie programm ocenki rezul'tatov obuchenija shkol'nikov / V. A. Bolotov, I. A. Val'dman // Pedagogika. - 2013. - № 8. - C. 15-26.
2. Bolotov, V. A. Informirovanie razlichnyh celevyh grupp kak uslovie jeffektivnogo ispol'zovanija rezul'tatov ocenki uchebnyh dostizhenija shkol'nikov / V. A. Bolotov, I. A. Val'dman // Problemy sovremennogo obrazovanija [Jelektronnyj resurs] : nauchno-informacion. zhurnal. - 2012. - № 6. - Rezhim dostupa k zhurn. : http:// www.pmedu.ru, svobodnyj.
3. Val'dman, I. A. Monitoringovye issledovanija kachestva obrazovanija: opyt Avstralii / I. A. Val'dman // Zhurnal rukovoditelja upravlenija obrazovaniem. - 2013. - № 4. -C. 43-51.
4. Val'dman, I. A. Osobennosti organizacii monitoringov uchebnyh dostizhenij v stra-nah mira: nacional'naja programma ocenki SIMCE v Chili / V. A. Bolotov // Problemy sovremennogo obrazovanija [Jelektronnyj resurs] : nauchno-informacion. zhurnal. - 2013. - № 5. - Rezhim dostupa k zhurn. : http://www.pmedu.ru, svobodnyj.
5. Polivanova, K. N. Nacional'nye i mezhdunarodnye programmy ocenki kachestva obrazovanija : ucheb. posobie / K. N. Polivanova. - M. : MVShSJeN, 2010. - 154 s.
6. Bandeira de Mello, V. Mapping State Proficiency Standards Onto the NAEP Scales: Variation and Change in State Standards for Reading and Mathematics, 2005-2009 / V. Bandeira de Mello ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. - Washington: Government Printing Office, 2011.
7. Bandeira de Mello, V. Mapping State Proficiency Standards Onto NAEP Scales: 20052007 / V. Bandeira de Mello, C. Blankenship, D. H. McLaughlin ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. -Washington: Government Printing Office, 2009.
8. Jaeger, R. M. Reporting the Results of the National Assessment of Educational Progress (1998) / Richard M. Jaeger ; National Center for Education Statistics ; American Institutes for Research // AIR [Jelektronnyj resurs]. - Rezhim dostupa : http://www. air.org.
9. The Nation's Report Card: A First Look: 2013 Mathematics and Reading / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Jelektronnyj resurs]. - Rezhim dostupa : http:// nces.ed.gov.
10. The Nation's Report Card: Civics 2010 : National assessment of educational progress at grades 4, 8 and 12 / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Jelektronnyj resurs]. - Rezhim dostupa : http://nces.ed.gov.
11. The Nation's Report Card: Trends in Academic Progress 2012 / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Jelektronnyj resurs]. - Rezhim dostupa : http://nces.ed.gov.
12. No Child Left Behind Act of 2001 // U.S. Department of Education = Departament obrazovanija SShA [Jelektronnyj resurs] : ofic. sajt. - Rezhim dostupa : http://www. ed.gov.
13. Public Law 100-297 / National Assessment of Educational Progress Improvement Act, Article № USC 1221. - Washington, D.C., 1988.
14. National Center for Education Statistics = Nacional'nyj centr statistiki v oblasti obrazovanija [Jelektronnyj resurs] : ofic. sajt. - Rezhim dostupa : http://nces.ed.gov.
15. The Nation's Report Card = Sajt nacional'nyh dokladov [Jelektronnyj resurs]. - Rezhim dostupa: http://nationsreportcard.gov.
Интернет-журнал «Проблемы современного образования» 2014,№ 5
