CC BY
133
УДК 37.014.5
КЛАСТЕРИЗАЦИЯ ПРИ РЕЙТИНГОВАНИИ ОБЩЕОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ. РОССИЙСКИЙ И МЕЖДУНАРОДНЫЙ ОПЫТ.
Рыжко Е.Б., Институт управления образованием РАО, Москва, Россия E-mail: [email protected]
Аннотация. В рамках данной статьи на примере ряда стран (Россия, Австралия, Великобритания, Чили, Канада) показываются различные варианты кластеризации при рейтинговании школ по учебным достижениям. Рассматриваются характеристики и параметры, на основе которых группируются объекты рейтингования, и также демонстрируются графические варианты отображения рейтингов. Ключевые слова: рейтинги школ, кластеризация.
THE CLUSTERING BY RATING OF EDUCATIONAL INSTITUTIONS. RUSSIAN AND INTERNATIONAL EXPERIENCE.
Ryzhko E.B. Institute of Management in Education of RAE, Moscow, Russia E-mail: [email protected]
Abstract. The articles considers the different variants of clustering in the school ranking process on a basis of experience of several countries (Russia, Australia, Great Britain, Chile, Canada). The parameters and characteristics used to sort the rated schools are shown, and the graphic variants of the presentation of ratings are presented. Key words: school rankings, clustering.
Введение
Рейтингование общеобразовательных учреждений - одна из наиболее популярных тем сегодня. Составление рейтингов школ является запросом как органов управления образованием, так и общества; свои варианты рейтингов общеобразовательных учреждений предлагают сейчас и государственные структуры, и независимые организации.
Учитывая то, что результаты рейтингов нередко используются при оценке качества образования в целом, необходимо принимать во внимание очевидный и значимый риск, допускаемый многими сторонами процедуры рейтингования -неграмотное и некорректное построение рейтинга школ. Экспертами как в России, так и за рубежом неоднократно акцентировалась важность ориентации на всесторонний учет различных факторов и характеристик при оценке работы образовательных учреждений (см., например, В.А. Болотов [2] или T. Cobbold [1]), в этом году был сформирован рейтинг «500 лучших образовательных организаций, которые продемонстрировали высокие образовательные результаты в 2012-2013 учебном году»,
базирующийся исключительно на двух характеристиках: результатах ЕГЭ и результатах участия школьников в олимпиадах. Спорность этого рейтинга немедленно вызвала критическую реакцию экспертов (к примеру, И.А. Вальдман [6]), однако признанной альтернативы данному рейтингу пока не создано.
В настоящее время идет общественное обсуждение принципов рейтингования школ. Были предложены различные концепции рейтингов - разработанные специалистами при Российской академии образования на основе Берлинских принципов рейтингования вузов [4] и автономно разрабатывавшиеся специалистами Высшей школы экономики [8]. Концепции отличаются подходами по ряду позиций, однако обе группы экспертов подчеркивают важность такого параметра, как кластеризация (группировки по сходным характеристикам) объектов при рейтинговании.
Принцип «сравнения подобного с подобным» был заявлен достаточно давно, однако при реализации этого требования сами характеристики, на основе которых ведется кластеризация общеобразовательных школ, достаточно различны.
Цель данной статьи заключается в рассмотрении примеров рейтингов школ как в российской, так и международной практике с позиции применения методов группировки рейтингуемых объектов по их свойствам. Выбран наиболее популярный тип рейтингов общеобразовательных учреждений - по учебным достижениям.
Теория
Предлагаем рассмотреть один из разработанных вариантов кластеризации образовательных учреждений. Д.Л. Константиновский с коллегами [7] в рамках проекта, реализуемого в 2002-2006 годах Национальном фондом подготовки кадров при поддержке Всемирного банка, выделил следующие группообразующие параметры согласно этапам образовательного процесса.
1) Характеристики «входа». К этим параметрам относятся, в первую очередь, особенности процедуры поступления и перехода с одной ступени на другую. Кроме того, к ним относятся социокультурный уровень семьи ученика, конкурс на место, стоимость обучения, а также расположение самой школы.
2) Характеристики «процесса», то есть связанные непосредственно с процессом обучения. Это специализация школы, ее финансирование и обеспечение необходимыми ресурсами и материалами. Наличие дополнительных образовательных программ и договоренность с ВУЗами также относятся к характеристикам «процесса».
3) Характеристики «результата» - все непосредственно связанное с итогами процесса обучения. Здесь можно отметить и результаты конкретных выпускных экзаменов, и долю выпускников, поступивших в ВУЗы. Также сюда можно отнести результаты участия в олимпиадах.
Выделение вышеуказанных параметров помогает осмыслить факторы, влияющие на результат обучения; так, если характеристики «результата» являются очевидными легкодоступными внешними данными, то остальные характеристики имеют комплексный характер и далеко не всегда учитываются при оценке образовательного учреждения.
Практика
Рассмотрим теперь, какие характеристики используются на практике при формировании рейтингов общеобразовательных учреждений.
Пример России. Чувашская Республика
При анализе результатов Единого государственного экзамена в Чувашской Республике 2012 года по методике, разработанной С.А. Боченковым [3], кластеризация общеобразовательных учреждений велась исходя из следующих параметров:
• Тип образовательного учреждения
• Вид образовательного учреждения
• Тип местности, размер населённого пункта (городские и сельские школы)
• Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)
Таким образом, был сформирован следующий ряд кластеров:
- Кластер №1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов.
- Кластер №2 Городские общеобразовательные школы (более 50 выпускников 11 классов)
- Кластер №3 Городские общеобразовательные школы (менее 50 выпускников 11 классов)
- Кластер №4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры
- Кластер №5 Сельская общеобразовательная школа (25 и более выпускников 11 классов)
- Кластер №6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов)
- Кластер №7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов)
Здесь задействованы параметры «входа» и «процесса» обучения.
Пример России. Ярославская область
Также любопытен пример Рейтинг школ Ярославля и области по итогам ЕГЭ. Данный пример интересен прежде всего тем, что в большинстве регионов, занимавшихся построением рейтинга школ по итогам ЕГЭ, кластеризация отсутствует в принципе - это линейные рейтинги без учета какой-бы то ни было информации по типу образовательных программ, видам образовательных учреждений и прочих контекстных данных. Итак, в Рейтинге школ [16] Ярославля и области выделены следующие кластеры:
• Школы повышенного уровня
• Вечерние образовательные учреждения
• Городские СОШ с более 400 учащихся
• Городские СОШ с менее 400 учащихся
• Сельские СОШ с более 200 учащихся
• Сельские СОШ с менее 200 учащихся
• Малокомплектные сельские школы
Тем не менее, несмотря на относительную «продвинутость» данного рейтинга по отношению ко многим другим регионам, он представляет собой просто статичную таблицу без возможности настройки опций пользователем.
Визуальное решение рейтинга - таблица, разбитая на разделы в соответствии с кластерами.
Рейтинг общеобразовательных учреждений Ярославской области по итогам ЕГЭ 2011 года
Нрило[кение к письму департамента образевания Ярославской области 24.DI.ID12 № 401/0' Р 1 кластер
Образовательные учрекадения, реализующие программы повышенно™ уровня (изучение не маме двух предметов на профильное уровне), лицеи, гимназии, школы с углубленным изучением предметов (независимо от количества обучающихся]
№п/п Наименование ОУ Русский язык Математика
средни и &алл
реитинг средние рейтинг Балл
МОУ СОШ № 13 г. Ярославля
В 1,4
В 1,4
1ЮУ гимназия № 1 г. Ярославля
Аналогично предыдущему рейтингу здесь использовались параметры «входа» и «процесса» обучения.
РИА Новости, рейтинг школ повышенного уровня
Рейтинг школ повышенного уровня от российского информационного агентства РИА Новости, разработан в рамках проекта «Социальный навигатор» по созданию рейтингов организаций социальной сферы при всестороннем учете контекстной информации, и включает в себя «групповые рейтинги» [15]. Данный рейтинг предлагает разные варианты сортировки школ из учета интересов потенциальных пользователей по нижеперечисленным критериям:
• По регионам,
• По типам поселений (крупные города, средние города, малые города и сельская местность),
• По населенным пунктам, имеющим более 3 школ повышенного уровня
• По профилю (физико-математический, гуманитарный, естественнонаучный, языковой другие)
Визуальное решение данного рейтинга - таблица, позволяющая сортировать по определенным параметрам.
в*
Рейтинг школ повышенного уровня Красноярского края
Выбор школы по параметрам;
Дивногорск [т] естественнонаучная
все специализации гуманитарная
^пестрей н ау^нэя
натенатическая
многопрофильная
спортивная
техническая
технологическая
физико-натен этическая
Сбросить
, поиск по названию школыУнонеоу школы
Оазножнасгь
индивидуального развития учащихся
Рейтинг па региону
(рэширенкэя версия)
Условия обучения
Результаты обучения
Кк£.ивидуагьное А рлз-питие
Значение н ндексл, (так — I)
?зыковая - - - - - - -
1 МУНИЦИПАЛЬНОЕ об;эвас взпельнае учреждение ''Гимназия М?!"1 © 0.65 Я 0.98 V 0.66 * 0.47 Лидер 0.69 рритннг,5
2 Муниципальное бкшаданэе образе сэ^пьндс учрсисдснис "Ли^ей ЫТГ © ■(л №.59 Я 0.56 V 0.72 -г 0.57 0.61
3 Муниципальная бгодкегнсс ой;нас вз-те льное учреждение "Пиией № нкН.Ф.Решетбвв" Ф Ж 0.4В я 0.6В 0.65 * 0.61 0.61
4 Г-'.униципс льна*? обдзас апельнае учреждение учеежде^ие лицей мпг" 0> я 0.40 0.53 д 0.76 0.59
Как видим, здесь также представлены параметры «входа» и «процесса».
Обратимся теперь к примерам зарубежных рейтингов школ, где используется кластеризация по определенным параметрам.
Пример Чили
В Чили с 1998 года успешно реализуется программа национальной оценки SIMCE (Sistema de Medición de Calidad de la Educación - Система измерения качества образования). Рейтингование по результатам тестирования ведется по кластерам образовательных учреждений, формируемым на основании социально-экономического статуса учащихся. Уровень СЭС определяется по трем факторам:
• уровень образования родителей,
• размер ежемесячного дохода семьи,
• индекс уязвимости школьников, рассчитываемый на основе анкет для родителей.
Школы с одинаковым социально-экономическим статусом учащихся определяются "учреждениями с аналогичными социально - экономическими характеристиками" (см. подробнее [5]). Визуальное решение данного рейтинга -таблица.
Итак, это пример рейтинга с кластеризацией на основе параметров «входа».
Национальный мониторинг учебных достижений школьников NAPLAN, Австралия
Учебные достижения школьников в Австралии оцениваются национальной программой оценки National Assessment Program — Literacy and Numeracy (NAPLAN). При представлении результатов NAPLAN также используется группировка школ по статистически сходному контингенту. Для формирования таких групп был специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) - ICSEA [11].
ICSEA учитывает следующие параметры:
• количество учащихся в школе;
• данные по занятости и образованию родителей учеников;
• социально-экономические характеристики места проживания ученика;
• местонахождение школы (столица, регион либо удаленная территория);
• доля учеников из семей, где английский язык не является родным;
• доля учеников из коренного населения страны.
Как мы видим, здесь помимо чисто формальных характеристик школы типа количества учащихся используется ряд дополнительных контекстных факторов, позволяющих представить намного более полную картину.
Рассмотрим несколько нестандартное визуальное решение данного рейтинга.
Ниже приведен пример графического отображения места школы Adelaide High School г. Аделаида относительно других школ со сходным ICSEA при сравнении по параметру 9-й год обучения, результаты NAPLAN по разделу «Грамматика и пунктуация» за 2012г.
По оси абсцисс даны средние баллы школы по этому разделу, по оси ординат -количество школ с таким результатом. Каждый кружок означает одну из школ. Синим кружком обозначена фокусная школа, различными цветами выражена степень приближенности остальных школ кластера к фокусной по ее результату. При наведении на каждый из кружков открывается название школы и более детальная информация - средний балл по данному параметру и разброс баллов.
При формировании кластеров в данном рейтинге базовыми характеристиками служат преимущественно параметры «входа».
Пример Канады
Рейтинг школ от Института Фрейзера (Fraser Institute) [10], будучи одним из тщательно проработанных рейтингов по ряду параметров, предлагает несколько
возможностей для кластеризации по выбору пользователя. Есть возможность группировки школ по следующим параметрам:
• тип (привилегированные, частные, государственные и др.);
• уровень годового дохода родителей учеников (всего 5 ступеней);
• процентное соотношение учащихся с особыми потребностями;
• процент учеников, для которых английский - второй язык;
• нестандартный критерий, характерный для билингвального государства: школы можно сгруппировать исходя из количества учащихся по программам на альтернативном (французском) языке.
Несомненное достоинство данного рейтинга - это возможность для пользователя самостоятельно настраивать применяемые критерии или отказаться от них. Также отметим наличие критериев, связанных с социо-культурными параметрами окружения учащегося.
Визуальное решение рейтинга - таблица.
British Columbia
Elementary Schools version '*' Secondary Schools
School name:
- all -Type:
Public Language:
English ■
Income:
$70,001 - $30,000 ESL:
0% - 5% Special needs:
- all -
French Immersion:
2011-12 Rank Rank in the most recent five years Trend School Name City 2D11-12 Ratina Ratina in the most recent five years Schools found: 4
28/284 36/260 - Dr. Charles Best Coquitiam 8.1 7.6 Add bo oompare
37/284 44/260 - Robert Alexander MtHath Richmond 7.7 7.3 Add to oompare
148/284 101/260 ¥ Maple Ridoe Maple Ridge 5.9 6.5 Add to oompare
155/284 131У260 ▼ StelIVs Saanichton 5.8 6.0 Add to oompare
Over 20%
Таким образом, в этом рейтинге используются как параметры «входа», так и «процесса» обучения.
Пример Великобритании
Любопытный пример представления работы школы относительно сходных с ней школ представлен в Performance tables (таблицах достижений) на сайте Министерства образования Великобритании [18].
В Performance tables приводится таблица школ с рядом индикаторов и показателей (результаты различных тестов и экзаменов, процент учеников с высокой и низкой успеваемостью), и пользователь может сам выбрать индикатор, по которому будут сортированы школы. Однако среди возможных опций работы с этими данными есть вариант Similar schools «Сходные школы», где графически указана позиция каждой школы списка относительно сходных с ней школ. Сходность школ, что необычно, берется по успеваемости учеников. Под группирование подпадают все основные школы, обеспечиваемые за счет государства, по которым существует информация по результатам национальных экзаменов (в случае отсутствия этой информации либо в ситуации, когда эти данные меньше определенного порога, школы не подпадают под кластеризацию и это, соответственно, указывается в таблице). При группировке берется 27 школ с показателями выше фокусной школы и 27 школ с показателями ниже. Для основных школ кластер составляет 55 школ, считая фокусную, а для начальных школ - 125. В случае, если фокусная школа находится вверху или внизу списка, то берется просто 54 или 124 школы, наиболее близкие к ней по показателям.
Здесь также наличествует неординарное визуальное представление данных. Рассмотрим его на примере основных школ графства Линкольншир, Англия.
Сходные школы обозначены синими ромбами, фокусная школа в списке указывается красным ромбом. Сами ромбы расположены линейно в соответствии с процентом учеников, получивших пять и больше результатов A-C по национальным экзаменам GCSE или эквивалентным, вкл. математику и английский GCSE.
A School name School type % achieving 5+ A*-C GCSEs (or equivalent) including English and maths GCSEs School position within group* (click to see group) Key: Vj School Similar Schools % achieving 5+A*-CGCSEs (or equivalent) including English and maths GCSEs Q% 28% 40% 68% 88% 188% Average grade per pupil (capped 8)-all qualifications Average KS2 point score (all pupils}
England - all schools 59.4% NA
England - state funded schools only 58.8% 27.6
Local Authority 62.1% 28.1
Schools (tick the box next to a school/college to select it for comparison - once you have selected all required schools/colleges clicK here; Compare)
OThe Banovallum School, Horncastle Community School 69% 11/55 B- 28.1
D Birkbeck School and Community Arts College Foundation School 42% 34/55 — Ш-* ♦ Value 77% Perry Beech ез Schoo 26.6
OThe Boston Grammar School @ Foundation School 96% 31/55 *♦» mm I B+ 31.5
OThe Boston Grammar School @ Academy - Converter Mainstream No KS4 data available for this school
□ Boston High School @ Foundation School 100% 1/55 •»»•»•MM» A 314
□ Boston High School @ Academy - Converter Mainstream No KS4 data available for this school
D Bourne Academy Academy - Converter Mainstream 54% 35/55 ♦ ♦ c+ 27.7
D Bourne Grammar School @ Voluntary Controlled School 95% 43/55 A 31.7
http://www.education. gov. uk/cgi-bm/schools/performance/grouppl?qtype=LA &superview =
sec&view=aat&set=9&sort=l.schname&ord=asc&tab=503&no=925&pg=1
Как упоминалось выше, красный ромб относится к школе, чье название указано в строке (в данном случае брался алфавитный список основных школ Линкольншира). Синие ромбы маркируют 54 школы со всей страны со сходными данными по успеваемости (по определенной методике вычисляется средний балл для школы по результатам национальных экзаменов). При наведении курсора на ромб всплывает название соответствующей школы с указанием процентного показателя и ссылкой на персональную страницу школы (как показано на рисунке).
Далее стоит отметить еще один полезный аспект такой кластеризации. При нажатии на позицию фокусной школы в ее группе в четвертом столбце разворачивается более подробная диаграмма по соответствующему кластеру. При этом, если в группе наличествует школа, успеваемость в которой не менее чем на 12% выше чем в фокусной и которая находится в транспортной доступности (определенной как расстояние не болеее 75 миль) от фокусной, она выделяется зеленым цветом.
Ниже представлен пример для школы The Gartree Community School в г. Линкольн, которая находится на 44-ом месте в своей группе. В списке школ выделены зеленым цветом три школы: Shirebrook Academy г. Мэнсфилд, Winterhill School г. Ротерема и Stoke Park School and Community Technology College г. Ковентри. Все эти школы имеют результаты более чем на 12% выше фокусной школы (на 20%, 19% и 16% соответственно) и находятся на расстоянии менее 75 миль от нее.
Таким образом, пользователь информационного ресурса может не просто оценить выбранную школу, но и рассмотреть альтернативные варианты - расположенные в транспортной доступности школы со сходным средним уровнем подготовки учеников, дающие тем не менее заметно лучшие возможности по сравнению с фокусной.
Очевидно, что данный вид группировки школ направлен в первую очередь на родителей учеников. Это необычный пример, когда для кластеризации используются исключительно параметры «результата» обучения, при этом целевая аудитория включает в себя не только стороны, заинтересованные в подотчетности школ. Тем не менее, надо отметить, что при отсутствии таких значимых факторов, как социокультурное окружение, размер и расположение школы, ценность данной кластеризации снижается.
Schools without data нД be displayed below those with data.
School name Local Authority ▼ % achievi rtg 5-s- A*-C GCSEs [or School equivalent! position within including group English and maths GCSEs % achieving 5+ Ar-C GCSEs {or equivalent) including English and maths GCSEs 0% 28% А0У. 607. SQX 108% Average grade per pupil {sapped 8! all qualifications
England - all schools 59.4%
England - state funded! schools only 58.8%
Schools (tick the box next to a school/college to select it for comparison - once you have selected all required schools/colleges click here; Compare)
□ Maria Fidelis Roman Catholic Convent School FCJ Camden 67% 1/55 Ф 0
EH South moor Community School, Mathematics and Computing College >|) Sunderland 67% 1УБ5 * B-
_Shirebrook Academy Derbyshire 65% 3/55 * B-
EH Oakgrove School Milton Keynes 64% 4/55 • B
□ Winterhill School Rotherham 64% 4/55 • c+
EH Canons High School ♦ Harrow 63% 6/55 * B-
O Hampstead School Camden 63% 6/55 * c
EH Stoke Park School and Community Technology College Coventry 61% 8/55 • B-
□ Aldworth School Hampshire 60% 9/55 ♦ c+
□ Hodge Hill Girls' School Birmingham 60% 9/55 « в
0 Hollow ay School Islington 60% 9/55 • c+
EH Georae Pindar School North Yorkshire 59% 12/55 4 c+
EH The John of Gaunt School ^ Wiltshire 58% 13/55 * c+
------- ■■ ^^m ^^m ^mm - — ---- ■ - ■ — — ---
EH Ormiston San dwell Community Academy Sandwell 46% 37/55 * ■
□ The Regis School 0 West Sussex 46% 37/55 * с
EH The Gartree Community School Lincolnshire 45% 40/55 * c+
EH St Matthew Academy Lewisham 44% 41/55 * B-
EH Beaufort Community School 0 Gloucestershire 42% 42/55 • c
EH Homewood School and Sixth Form Centre Kent 42% 42/55 • c+
EH The St Thomas the Apostle College Southwark 42% 42/55 i * с ■ ^ H 1
http://www.education. gov. uk/cgi-bin/schools/performance/group.pl?qtype=SSC&superview = sec&tab=512&no=120705&ord=desc&sort=ks4_12.ptac5em
Заключение
Среди рассмотренных примеров по частоте употребления лидируют параметры «входа» и «процесса». Среди вероятных причин этого можно назвать легкость сбора данных по таким параметрам как тип и расположение школы, а также наличие специализированных программ.
Сбор контекстных данных по социально-экономическим факторам и социокультурному окружению, несмотря на несомненную ценность для корректности сравнения школ, нередко дорогостоящ и не всегда оправдывает себя (см, например, опыт Чили [9])
Группировка общеобразовательных учреждений по «результату» обладает таким свойством, как однозначность и независимость от субъективизма рейтингующей организации, и сравнительной легкостью сбора данных. Однако у подобного типа
кластеризации имеются свои риски: так, нередко различия между школами внутри кластера куда больше, чем у школ, располагающихся на граничных показателях «соседних» кластеров. Однако редкость его использования, вероятно, объясняется тем, что результат является основанием самого ранжирования объектов, и дополнительное использование этого параметра еще и при кластеризации может создать впечатление избыточного.
На данный момент еще не создано рейтинга, соединяющего в себе при кластеризации индикаторы всех трех типов параметров. Это может иметь причиной нежелание излишне усложнять рейтинг, а также неготовность к дополнительным затратам при процессе сбора данных.
Тем не менее, несмотря даже на то, что в большинстве случаев при рейтинговании кластеризация не используется вообще, рейтинг общеобразовательных учреждений является популярной и востребованной темой, и можно в дальнейшем ожидать развития и усложнения имеющихся вариантов рейтингов, а также разработки новых.
Список литературы
1. Cobbold, Trevor. School League Tables - Success or Disaster? Speech delivered to Politics in the Pub, Sydney. 2009.
2. Болотов В.А. Проблемы определения качества школьного образования // Управление образованием: теория и практика. 2012. №2
3. Боченков С.А. Анализ и интерпретация результатов ЕГЭ-2012 // Управление образованием: теория и практика. 2012. №3
4. Боченков С.А., Вальдман И.А., Иванова Е.Б. Принципы рейтинга школ. Материалы для обсуждения в профессиональном сообществе // Журнал руководителя управления образованием. 2013. №6
5. Вальдман И.А. Национальные мониторинги учебных достижений в странах мира: опыт Чили. 2013.
6. Вальдман И.А. Рейтинг - лучше, чем жизнь // Учительская газета. 2013. №39.
7. Константиновский Д.Л., Вахштайн В.С., Куракин Д.Ю., Рощина ЯМ. Доступность качественного общего образования в России: возможности и ограничения // Вопросы образования. 2006. №2
8. Культура общественного рейтингования: материалы к Круглому столу Общественной палаты РФ по общественному обсуждению основных подходов к оценке
результатов деятельности школ; подготовлены Т.А. Мерцаловой и С.Г. Косарецким, НИУ ВШЭ. 2013.
9. Рамирес Мария Хосе. Развитие стимулирующей среды для оценки достижений учащихся в Чили. Публикация No 2 по теме SABER - оценка достижений учащихся. Всемирный банк, г. Вашингтон. 2012
Интернет-ресурсы:
10. Fraser Institute. School Performance http://www.fraserinstitute.org/report-cards/school-performance/overview.aspx
11. Guide to understanding ICSEA
http://www.acara.edu.au/verve/_resources/Guide_to_understanding_ICSEA.pdf
12. KS2 Similar Schools Technical Note
http://www.education.gov.uk/schools/performance/primary 12/KS2 Similar Schools Techni cal Note.docx
13. KS4 Similar Schools Technical Note
http://www.education.gov.uk/schools/performance/secondary_12/KS4_Similar_Schools_Tec hnical Note.docx
14. Performance Tables http://www.education.gov.uk/schools/performance
15. Методика рейтингования школ повышенного уровня РИА Новости http://vid1.rian.ru/ig/ratings/Metodika_school.pdf
16. Рейтинг общеобразовательных учреждений Ярославской области по итогам ЕГЭ 2011 года http://mir76.ru/obrazovanie/reyting shkol
17. Сайт MySchool http://www.myschool.edu.au
18. Сайт Министерства образования Великобритании www.education.gov.uk
