CC BY
34
УДК 371
РЕГИОНАЛЬНЫЕ ПОДХОДЫ К РАЗРАБОТКЕ ДИАГНОСТИЧЕСКОГО ИНСТРУМЕНТАРИЯ И ПОРЯДКА ПРОВЕДЕНИЯ ОЦЕНОЧНЫХ ПРОЦЕДУР
Я.А. Белогубец, Е.А. Смелкова, С.Ф. Нафикова, Н.Н. Титаренко
В статье представлены основные вопросы по организации и проведению оценочных процедур и технологии разработки контрольных измерительных материалов в региональной системе оценки качества образования. Рассмотрены нормативные и теоретические основания разработки порядков и инструментария для процедур внутрирегионального анализа оценки качества образования. Представлен авторский подход к понятиям «контрольные измерительные материалы», «диагностическая работа», предложена аналоговая модель планирования проведения оценочных процедур и алгоритм разработки диагностического инструментария.
Ключевые слова: оценочные процедуры, диагностический инструментарий, порядок проведения оценочных процедур, контрольные измерительные материалы, внутренняя система оценки качества образования.
В условиях обновления подходов к процессам оценивания в сфере образования России значимым является формирование единой системы оценки качества общего образования (ЕСОКО). Одной из актуальных проблем при формировании ЕСОКО в Концепции национальных исследований качества образования указывается «недостаточная целостность и сбалансированность системы процедур и механизмов оценки качества образования, реализуемых на федеральном, региональном и муниципальном уровнях системы образования, что не позволяет обеспечить формирование и развитие единого образовательного пространства» [2, с. 2].
В целях решения заявленной проблемы осуществляется поиск новых подходов к оцениванию в сфере образования как в нормативных, так и в теоретических аспектах. В
нормативном аспекте новые задачи на федеральном уровне отражены в государственных законодательных и программных документах Российской Федерации в сфере образования [1, 6, 7], а также в материалах и документах, описывающих единую систему оценки качества образования. На региональном уровне важным является нормативное регламентирование «встраивания» процедур оценки качества образования, как универсального эффективного механизма внешнего оценивания, в структуру региональных (муниципальных, институциональных) систем оценки качества общего образования и осуществление унификации способов и порядков реализации оценочных процессов. В Челябинской области таким нормативным регламентированием выступает разработанная региональная модель оценки качества общего образования (РМОКОО), обеспечивающая содержательное обоснование функционирования системы оценки качества образования, процессуальные механизмы и процедуры оценивания и результативность управленческих решений [5].
В связи с актуальностью проблематики подходов к оцениванию в сфере образования авторами в данной статье рассматриваются вопросы, представленные в методических рекомендациях, разработанных специалистами ГБУ ДПО «Региональный центр оценки качества и информатизации образования» в рамках формирования механизмов и инструментов реализации РМОКОО. Методические рекомендации сформированы с целью актуализации региональных подходов в сфере оценки качества образовательных результатов: «Оценка качества образовательных результатов: порядок проведения оценочных процедур» [3], «Оценка качества образовательных результатов: технология разработки контрольных измерительных ма-
териалов» [4].
Авторы данной статьи, являясь разработчиками указанных методических рекомендаций, представляют актуальность регионального подхода к порядку проведения процедур внутрирегионального анализа оценки качества общего образования, включая описание требований к внешнему наблюдению и организационным механизмам планирования и проведения процедур внутрирегионального анализа оценки качества общего образования.
В контексте понятий, принятых в РМО-КОО, процедуры внутрирегионального анализа оценки качества общего образования рассматривается как «официально установленные и предусмотренные правилами способы и порядки осуществления оценочных процессов, обеспечивающие оценку образовательных достижений обучающихся, качества образовательных программ, условий реализации образовательного процесса в конкретной образовательной организации, деятельности всей образовательной системы региона и ее подсистем» [5, с. 7].
В работе над формированием логики порядка проведения любой оценочной процедуры важно определить нормативные и теоретические основания проведения оценочных процедур, единые требования к организационному, информационному, методическому и техническому обеспечению оценочных процедур на всех уровнях сопровождения: от регионального и муниципального до институционального уровня и уровня конкретного исполнителя. Описание порядка проведения отдельной процедуры внутрирегионального анализа оценки качества общего образования как некой модели может быть представлено через действия специалистов, участвующих в подготовке и проведении оценочной процедуры: орган исполнительной власти (ОИВ) субъекта Российской Федерации, региональный координатор, муниципальный координатор, институциональный координатор, институциональный организатор (исполнитель). При этом специалисты, участвующие в проведении процедур внутрирегионального анализа оценки качества общего образования, осуществляют его
комплексное сопровождение, которое включает в себя организационное, информационное, методическое и техническое.
Такое комплексное сопровождение оценочной процедуры на каждом этапе, по нашему мнению, обеспечивает соблюдение порядка процедуры внутрирегионального анализа оценки качества общего образования, а определенность и скоординирован-ность действий специалистов, участвующих в подготовке и проведении оценочных процедур, служат важным фактором эффективности управления этими процессами. Для наглядности действия специалистов рассматриваются на четырех этапах проведения оценочной процедуры: подготовительный этап, этап проведения оценочной процедуры, этап проверки выполненных работ и обработки результатов по итогам проведения оценочной процедуры, этап анализа и интерпретации результатов проведения оценочной процедуры.
При формировании порядка проведения каждой оценочной процедуры важно рассмотреть вопросы, касающиеся соблюдения конфиденциальности информации как одного из основных факторов, позволяющих повысить объективность результатов процедур внутрирегионального анализа оценки качества общего образования. Соблюдение конфиденциальности необходимо также для всех категорий специалистов, участвующих в подготовке и проведении оценочных процедур. Не менее важным является внимание к подходам в организации внешнего наблюдения, которое проводится с целью усиления контроля за ходом проведения оценочных процедур, обеспечения объективности результатов, повышения доверия общества к оценочной процедуре проведения и соблюдения прав его участников. Деятельность внешних наблюдателей должна быть организована на всех этапах проведения оценочных процедур на основании соответствующих нормативно-правовых актов, инструктивных и методических материалов, регулирующих эту деятельность.
Значимым организационным ресурсом формирования порядка проведения оценоч-
ных процедур может выступать модельная циклограмма проведения оценочных процедур в среднесрочной перспективе (например, представленная в методических рекомендациях циклограмма на 2017-2020 годы). В циклограмме должны быть предусмотрены процедуры оценки качества образования, представленные в процессуальном компоненте региональной модели оценки качества общего образования, как процедуры, осуществляемые периодически и являющиеся инвариантными для общеобразовательной организации. К таким относятся: национальные исследования качества образования по учебным предметам, изучаемым на уровнях начального общего, основного общего и среднего общего образования, всероссийские проверочные работы по учебным предметам, процедуры государственной итого-
вой аттестации обучающихся, региональные исследования качества образования. Такая циклограмма может выступать моделью среднесрочного планирования проведения комплекса оценочных процедур, организационным механизмом внутрирегионального анализа оценки качества общего образования на всех уровнях управления (региональном, муниципальном, институциональном).
Учитывая значимость оценочных процедур, имеющих периодический характер, для осуществления внешней оценки качества общего образования в части оценивания индивидуальных образовательных результатов обучающихся в общеобразовательной организации, ниже приведены их основные характеристики (таблица 1).
Таблица 1
Процедуры осуществления внешней оценки качества общего образования в части оценивания индивидуальных образовательных результатов обучающихся
Наименование оценочной процедуры Периодичность Содержание оценивания Источники информационных материалов для общеобразовательной организации
TIMSS - международное исследование по оценке качества математического и естественнонаучного образования последнее исследование -2015 г.; период - 4 года Сравнительная оценка качества математического и естественнонаучного образования в начальной и основной школе http://www.fioco.ru/ru/in ternational_studies/timss
PISA - международная программа по оценке учебных достижений 2013 год период - 5 лет Уровень развития способности обучающихся использовать приобретенные в школе знания по предмету «математика», по предметам, связанным с чтением, и по предметам естественнонаучного цикла, а также опыт для широкого диапазона жизненных задач http://www.fioco.ru/ru/in ternati onal_studies/pisa
Наименование оценочной процедуры Периодичность Содержание оценивания Источники информационных материалов для общеобразовательной организации
ICCS - международное исследование по граждано-ведческому образованию 2013 год период - 6 лет Компетентность в сфере гражданского образования, предрасположенность и отношение к нему у обучающихся http://www.fioco.ru/ru/in temati onal_studies/i ^
PIRLS - международное исследование PIRLS «Изучение качества чтения и понимания текста» 2015 год период - 4 года Уровень и качество чтения и понимания текста обучающимися начальной школы в странах мира. Выявление и интерпретация различий в разных системах образования с целью совершенствования процесса обучения чтению http://www.fioco.ru/ru/in temati onal_studies/pirls
НИКО по литературе, химии, биологии, физической культуре два раза в год Качество ООО: результаты освоения образовательных программ ООО по учебным предметам «литература», «химия», «биология», «физическая культура» https://www.eduniko.ru https://niko.statgrad.org/
ВПР по русскому языку, математике, окружающему миру ежегодно Качество НОО: результаты освоения образовательных программ НОО по учебным предметам «русский язык», «математика», «окружающий мир» https://4vpr.ru/ https://vpr.statgrad.org/
ВПР по биологии, истории, географии ежегодно Качество ООО: результаты освоения образовательных программ ООО по учебным предметам «биология», «история», «география» http://www.fipi.ru/vpr https://4vpr.ru/ https://vpr.statgrad.org/
РИКО (комплексная работа) ежегодно Качество НОО: метапред-метные результаты освоения образовательных программ НОО https://rcokio.ru/regional nye-issledovanija-kachestva-obrazovanij ^
РИКО (индивидуальный проект) ежегодно Качество ООО: метапред-метные результаты освоения образовательных программ ООО https://rcokio.ru/regional nye-issledovanija-kachestva-obrazovanij ^
ГИА ежегодно Уровень освоения обучающимися ФК ГОС основного общего и среднего (полного) общего образования по учебным предметам http://gia.edu.ru/ru/
В целом, следование единому порядку позволит специалистам в сфере образования оптимально использовать ресурсы для реализации полномочий при планировании и проведении процедур внутрирегионального анализа оценки качества общего образования, учитывая необходимые требования к соблюдению конфиденциальности информации и осуществлению внешнего наблюдения за порядком проведения каждой оценочной процедуры.
Авторам статьи представляются также актуальными вопросы, рассматренные в методических рекомендациях «Оценка качества образовательных результатов: технология разработки контрольных измерительных материалов», где актуализируется региональный подход к разработке диагностического инструментария для проведения оценочных процедур. В новых образовательных условиях в ходе реализации ФГОС общего образования для осуществления оценивания достижений обучающихся педагогу нужны новые оценочные средства - контрольные измерительные материалы, построенные на основе современных педагогических достижений и позволяющие диагностировать не только степень достижения планируемых предметных результатов обучающихся, но и уровень сформированности у них универсальных учебных действий (метапредметные результаты), раскрывающих многоструктурные характеристики качества образования.
Учитывая, что контрольные измерительные материалы (КИМ) являются наиболее подвижной и изменяющейся частью общего порядка проведения оценочных процедур, а также то, что нормативного закрепления определения КИМ не дается, в данной статье считаем важным обратиться к пониманию структуры контрольных измерительных материалов и порядка их разработки. На основе изученных нормативных и научно-педагогических источников нами были применены авторские определения основным понятиям, используемым при разработке инструментария.
Так, в методических рекомендациях, представляемых авторами данной статьи, конт-
рольные измерительные материалы (КИМ) рассматривается как совокупность взаимодополняющих компонентов инструментария оценки качества образовательных результатов обучающихся, объединенных в целостную структуру и используемых для проведения оценочной процедуры. В структуру КИМ включены следующие компоненты: кодификатор планируемых результатов освоения основных образовательных программ общего образования, спецификация диагностической работы (включая систему оценивания, перечни инструктивных и дополнительных материалов), собственно диагностическая работа.
Самостоятельным компонентом КИМ следует рассматривать собственно диагностическую работу. Диагностическая работа (в авторском определении) представляет собой систему заданий стандартизированной формы, объединенных логикой построения, направленной на выполнение цели оценивания и позволяющей надежно и объективно оценить уровень достижений обучающихся.
Для проведения региональных оценочных процедур целесообразно следовать предлагаемому алгоритму разработки диагностической работы (в соответствии с целями оценивания): определить действия по отбору заданий разных типов и разного содержания, выдержать логику конструирования и оформления диагностической работы. Например, следует учитывать различные основания для отбора заданий диагностических работ. Среди них есть традиционные, чаще всего встречающиеся, основания - выбор различной формы ответа (выбор ответа, краткий или развернутый ответ, установление последовательности или соответствия). Среди иных оснований для отбора заданий, например, отбор по видам умений и способам деятельности, по уровню сложности заданий. С этой целью необходимо использовать обобщённые группы учебно-познавательных и учебно-практических задач, предъявляемых обучающимся в соответствии с целями оценивания планируемых результатов.
Значимое место в технологии разработки инструментария занимает порядок его разработки, в ходе которого разработчикам необходимо последовательно решить комплекс задач. Так, на первом (подготовительном) этапе рекомендуется определить необходимость разработки инструментария и создать организационные, информационно-методические и технические условия для осуществления процесса его разработки. На втором (формирующем) этапе предстоит актуализировать нормативные и теоретические основания разработки конкретного инструментария, определить цель его использования, сформировать необходимые компоненты. На третьем (экспертном) этапе рекомендуется провести экспертизу структуры и содержания контрольных измерительных материалов в целом, а на четвертом (апробационном) этапе - осуществить их апробацию, определить степень готовности к использованию/применению. Наконец, на пятом (итоговом) этапе завершенный вариант контрольных измерительных материалов утверждается для использования/применения при проведении конкретной оценочной процедуры.
Таким образом, результатом работы по представленной технологии может стать сформированный валидный оценочный инструментарий, обеспечивающий прозрачность и объективность проводимой оценочной процедуры, а также являющийся существенным ресурсом для использования его в рамках процессуального компонента внутренней системы оценки качества образования в общеобразовательной организации.
В заключение считаем важным отметить, что представленные методические рекомендации, направленные на актуализацию региональных подходов в сфере оценки качества образования, позволяют рассматривать эффективность управленческого потенциала при разработке инструментария и порядка проведения процедур внутрирегионального анализа оценки качества образования.
Список литературы
1. Государственная программа Российской Федерации «Развитие образования» на 2013-
2020 годы [Электронный ресурс] - Режим доступа: http://www.consultant.ru/document /cons_doc_LAW_162182/ (дата обращения: 15.09.2017).
2. Концепция национальных исследований качества образования [Электронный ресурс] - Режим доступа: https://www.edum ko.ru/--c20b5 (дата обращения: 10.09.2017).
3. Оценка качества образовательных результатов: порядок проведения оценочных процедур [Текст]: методические рекомендации для специалистов органов управления образованием, руководителей и педагогических работников общеобразовательных организаций, осуществляющих проведение процедур внутрирегионального анализа оценки качества общего образования / А. А. Барабас и др. - Челябинск: РЦОКИО, 2017. - 52 с.
4. Оценка качества образовательных результатов: технология разработки контрольных измерительных материалов [Текст]: методические рекомендации по разработке контрольных измерительных материалов (КИМ) для проведения региональных оценочных процедур / А.А. Бара-бас и др. - Челябинск: РЦОКИО, 2017. - 65 с.
5. Письмо Министерства образования и науки Челябинской области от 22.12.2016 г. № 03-02/11974 «О региональной модели оценки качества общего образования (Челябинская область)» [Электронный ресурс]. - Режим доступа: https://rcokio.ru/fil es/publications/rmokoo.pdf (дата обращения: 30.08.2017).
6. Постановление Правительства Российской Федерации от 23.05.2015 г. № 497 «О Федеральной целевой программе развития образования на 2016-2020 годы» // Российская газета, 2015, 28 мая.
7. Федеральный закон от 29.12.2012 N 273-ФЗ (ред. от 01.05.2017, с изм. от 05.07.2017) «Об образовании в Российской Федерации» ст. 28 п. 3, 7. [Электронный ресурс] - Режим доступа: http://www.consulta nt.ru/document/cons_doc_LAW_140174/ (дата обращения: 24.07.2017).
Reference
1. Gosudarstvennaja programma Rossijskoj Federacii «Razvitie obrazovanija» na 2013-2020 gody [Jelektronnyj resurs] - Rezhim dostupa: http://www.consultant.ru/document/cons_doc_ LAW_162182/ (data obrashhenija: 15.09.2017).
2. Koncepcija nacional'nyh issledovanij kachestva obrazovanija [Jelektronnyj resurs] -Rezhim dostupa: https://www.eduniko.ru/--c20b5 (data obra-shhenija: 10.09.2017).
3. Ocenka kachestva obrazovatel'nyh rezul'ta-tov: porjadok provedenija ocenochnyh procedur [Tekst]: metodicheskie rekomendacii dlja spe-cialistov organov upravlenija obrazovaniem, rukovoditelej i pedagogicheskih rabotnikov ob-shheobrazovatel'nyh organizacij, osushhestvlja-jushhih provedenie procedur vnutriregional'nogo analiza ocenki kachestva obshhego obrazovanija / A. A. Barabas i dr. - Cheljabinsk: RCOKIO, 2017. - 52 s.
4. Ocenka kachestva obrazovatel'nyh rezul'ta-tov: tehnologija razrabotki kontrol'nyh iz-meritel'nyh materialov [Tekst]: metodicheskie rekomendacii po razrabotke kontrol'nyh iz-meritel'nyh materialov (KIM) dlja provedenija re-gional'nyh ocenochnyh procedur / A.A. Barabas i dr. - Cheljabinsk: RCOKIO, 2017. - 65 s.
5. Pis'mo Ministerstva obrazovanija i nauki Cheljabinskoj oblasti ot 22.12.2016 g. № 0302/11974 «O regional'noj modeli ocenki kachestva obshhego obrazovanija (Cheljabinskaja oblast')» [Jelektronnyj resurs]. - Rezhim dostupa: https://rcokio.ru/files/publications/rmokoo.pdf (data obrashhenija: 30.08.2017).
6. Postanovlenie Pravitel'stva Rossijskoj Federacii ot 23.05.2015 g. № 497 «O Federal'noj cele-voj programme razvitija obrazovanija na 20162020 gody» // Rossijskaja gazeta, 2015, 28 maja.
7. Federal'nyj zakon ot 29.12.2012 N 273-FZ (red. ot 01.05.2017, s izm. ot 05.07.2017) «Ob obrazovanii v Rossijskoj Federacii» st. 28 p. 3, [Jelektronnyj resurs] - Rezhim dostupa: http://www.consultant.ru/docment/cons_doc _LAW_140174/ (data obrashhenija: 24.07.2017).
Сведения об авторах
Титаренко Наталья Николаевна - кандидат педагогических наук, доцент, руководи-
тель метапредметной лаборатории начальных классов, Южно-Уральский государственный гуманитарно-педагогический университет
Белогубец Яна Андреевна - начальник лаборатории организационно-методическо-го сопровождения отдела обеспечения оценки качества образовательных результатов ГБУ ДНО «Региональный центр оценки качества и информатизации образования», г. Челябинск Нафикова София Фагиловна - методист лаборатории организационно-технического сопровождения отдела обеспечения оценки качества образовательных результатов, ГБУ ДНО «Региональный центр оценки качества и информатизации образования»
Смелкова Екатерина Анатольевна -начальник лаборатории организационно-технического сопровождения отдела обеспечения оценки качества образовательных результатов, ГБУ ДНО «Региональный центр оценки качества и информатизации образования»
Information about authors
Titarenko N.N. - Candidate of Pedagogical Sciences, Associate Professor, Head of the interdisciplinary laboratory of primary classes, South Ural State Humanitarian Pedagogical University, Chelyabinsk
Belogubets Y.A. - Head of laboratory of organizational and methodological support of the Department «Ensuring the assessment quality of educational outcomes», Regional center to assessment quality and informatization in education, Chelyabinsk
Nafikova S.F. - Methodist of laboratory of organizational and technical support of the Department «Ensuring the assessment quality of educational outcomes», Regional center to assessment quality and informatization in education, Chelyabinsk
Smelkova E.A. - Head of laboratory of organizational and technical support of the Department «Ensuring the assessment quality of educational outcomes», Regional center to assessment quality and informatization in education, Chelyabinsk
