CC BY
83
DOI: 10.31862/2500-297X-2023-2-23-43 УДК: 371.321
Е.В. Чернобай, М.В. Холманская
Национальный исследовательский университет
«Высшая школа экономики»,
101000 г. Москва, Российская Федерация
Возможности воздействия на самостоятельность учащихся через организацию обратной связи
Статья содержит обзор новейших российских и зарубежных исследований, посвященных обратной связи. В частности, прослеживается путь от фокуса на содержании обратной связи и действиях учителя к фокусу на ученике. В современной парадигме залогом успешной обратной связи являются последующие самостоятельные действия получающего обратную связь. Введя в 2012 г. в научный оборот термин feedback literacy (грамотность по восприятию обратной связи), Paul Sutton положил начало целому направлению исследований необходимых человеку качеств для эффективной работы с обратной связью. За десятилетие, прошедшее с момента издания работы P. Sutton, понятие feedback literacy было концептуализировано, выделены основные компоненты понятия, а также разработан и апробирован инструмент для его измерения. В настоящее время продолжается исследование взаимосвязи восприятия обратной связи с агентно-стью, и данная статья вносит вклад в дискуссию путем освещения и обобщения накопленных данных о необходимых характеристиках как акторов, так и самой обратной связи для того, чтобы обратная связь была максимально эффективна для учащихся. В статье ставится вопрос, как связана Л самостоятельность учащихся с организацией обратной связи и при каких го |
условиях обратная связь достигает ожидаемого эффекта, а также выделя- § 5
о о
ются существующие дефициты, в частности, нехватка практических инстру- £ m ментов для улучшения качества работы учеников с обратной связью. ^ *
К I
х ш
О. Т
о ^ ш Ю F о
© Чернобай Е.В., Холманская М.В., 2023
Контент доступен по лицензии Creative Commons Attribution 4.0 International License The content is licensed under a Creative Commons Attribution 4.0 International License
Ключевые слова: самостоятельность, агентность, обратная связь, фидбэк, грамотность по восприятию обратной связи, культура ошибки, климат ошибки, влияние ошибок на обучение
ССЫЛКА НА СТАТЬЮ: Чернобай Е.В., Холманская М.В. Возможности воздействия на самостоятельность учащихся через организацию обратной связи // Педагогика и психология образования. 2023. № 2. С. 23-43. DOI: 10.31862/2500-297Х-2023-2-23-43
DOI: 10.31862/2500-297X-2023-2-23-43 E.V. Chernobay, M.V. Kholmanskaya
HSE University,
Moscow, 101000, Russian Federation
Potential impact on student autonomy through the organization of feedback
The article provides an overview of recent Russian and foreign research on feedback. Specifically, it traces the transition from a focus on teacher actions and feedback content to a focus on the student. In the modern paradigm, successful feedback is allied with the subsequent actions of the recipient. In 2012, Paul Sutton introduced the concept of feedback literacy, laying the foundation for further research aimed at identifying personal qualities for effective work with feedback. Over the decade since Sutton's work was published, the concept of feedback literacy has been conceptualized, its main components have been identified, and an instrument k for measuring it has been developed and validated. Currently, research ^ continues on the relationship between feedback perception and agency, | | and this article contributes to the discussion by summarizing accumulated if o data on the necessary characteristics of actors and feedback to ensure that
I— m
| x feedback leads to goal attainment: changes in academic and extracurricular ^ x practices which lead to success. The article raises the question of how ^ feedback is related to students' agency and under what conditions feedback ^vo is most effective. The article also identifies existing deficits, particularly the lack of practical tools to improve students' quality of work with feedback.
Key words: autonomy, agency, feedback, feedback Literacy, error culture, error climate, effect of errors on Learning
CITATION: Chernobay E.V., Kholmanskaya M.V. Potential impact on student autonomy through the organization of feedback. Pedagogy and Psychology of Education. 2023. No. 2. Pp. 23-43. (In Rus.). DOI: 10.31862/2500-297X-2023-2-23-43
Актуальность темы
В реалиях быстро меняющегося современного мира, требующего от индивида гибкости и немедленной адаптации к новым неожиданным условиям (как, например, пандемия), а также в условиях бурного развития искусственного интеллекта, на наших глазах трансформирующего рынок профессий, одной из ключевых характеристик человека становится его самостоятельность. Понятие самостоятельности довольно хорошо изучено в отечественной психологии и педагогике и трактуется современными исследователями как «выполнение какого-либо действия без напоминаний и без помощи (автономия) и способность ставить цели и достигать их самостоятельно (инициатива)» [2, с. 11].
Такое понимание самостоятельности пересекается с содержанием других похожих понятий, часто встречающихся в современной исследовательской литературе: агентность, инициативность, проактивность, автономность, независимость, субъектность, саморегуляция; при этом разные исследователи выделяют отдельные аспекты, объединяющие, или, наоборот, обосабливающие эти понятия. Под агентностью понимается «совокупность индивидуальных характеристик, отражающих способность человека к осознанному инициативному действию в социальном мире, не только воспроизводящему существующие структуры и формы деятельности, но также их совершенствующему и создающему новые в интересах индивидуального и/или общественного блага» [11, с. 20], т.е. к понятию самостоятельности добавляется компонент проактивного действия по созданию структур. Автономность трактуется как ответственность - понимание последствий собственных действий - вкупе с активным участием в принятии решений относитель- | но собственного обучения [24]. Проактивное поведение определяется ^ о
- I— ей
исследователями как «самонаправляемое, ориентированное на будущее ^ х
действие..., в котором индивид нацелен на создание изменений, вклю- ^ §
чая изменение ситуаций. и/или себя самого.» [15, с. 3], а субъект- ^
ность «реализуется в моментах выхода человека за границы предуста- ^
новленного (надситуативные акты), отраженности его в других людях. ,
го
го
и возвращенности к себе...» [6, с. 3]. Саморегуляция определяется как такое взаимодействие с заданием, при котором учащиеся задействуют навыки постановки целей для улучшения качества своих знаний, осознанный выбор стратегий, а также мониторинг получаемых результатов и эффектов своей вовлеченности в выполнение задания [18]. Таким образом, мы наблюдаем, что тема развития самостоятельности существует в современной исследовательской повестке под разными именами. Мы для удобства будем пользоваться понятиями «самостоятельность» и «агентность» как синонимичными, имея в виду, что понятие «агент-ность» по содержанию несколько шире, чем понятие «самостоятельность», поскольку включает в себя дополнительный элемент созидания нового, т.е. невозможно быть агентным, не будучи самостоятельным.
Ключевую роль в развитии агентности играет ощущение само-эффек-тивности как уверенности в своей способности менять текущую ситуацию: «оно воздействует на когнитивные, мотивационные, аффективные процессы, а также на процесс принятия решений» [14, с. 4].
Исследование самостоятельности привлекает представителей самых разных дисциплин: социологов, психологов, педагогов. В докладе «Самостоятельность и проактивное поведение» авторами было отмечено, что несмотря на то, что агентность находится в фокусе внимания разных наук, консенсус в отношении определения и описания понятийной системы отсутствует [12].
Социологи отмечают усиливающуюся в современном мире тенденцию к де-структурации и переосмысление концепции «структура - действие» в сторону признания значительного влияния действий отдельных индивидов на существование структур [10]. Исследователи выделяют тенденцию отказа от структурно-детерминистского подхода, при котором индивидуальное действие направлено на интеграцию индивида в существующие структуры, и выделяют такое агентное поведение, при котором сами структуры претерпевают существенное изменение и создаются новые. Недавний опыт пандемии COVID-19 проявил очевидно недостаточный уровень агентности у школьников, который помог бы 1 им успешно справиться с нестандартными условиями [4].
си
2 ¡Е Современные психологи рассматривают условия возникновения
X с
g: и агентности, а также ее значение в развитии личности и связь самосто-
| ™ ятельности с благополучием индивида. В качестве одного из ключевых
х § условий выделяется возможность пробного действия, все еще затруд-
^ ш ненного в условиях традиционной школы, однако постепенно становя-Ju ю1 щегося возможным благодаря процессу «распаковки» школьной струк-
туры и расширению образовательного пространства [8].
Опираясь на структурно-функциональную модель психической деятельности, разработанную А.В. Карповым, П.С. Сорокин и др. выделили потенциально важные для развития агентности личностые факторы (на микроуровне: когнитивные, эмоциональные, волевые психические процессы; на мезоуровне - метакогнитивные процессы; на макроуровне -рефлексия) и подошли к рассмотрению агентности комплексно, создав модель, учитывающую социально-культурный контекст, контекст текущей ситуации и личностные факторы [12].
В фокусе внимания педагогов в первую очередь возможности развития агентности в текущих образовательных условиях (благодаря переходу к более мягким практикам), а также обзор уже существующих практик, используемых в отдельных инновационных школах, в частности, организация ученического самоуправления, проектной и исследовательской деятельности, образовательных выездов, спланированных самими учащимися, а также создания условий для разработки индивидуальных образовательных траекторий и самооценивания учеников. Кроме того, педагоги, как непосредственные участники процесса развития автономии школьников, отмечают положительные изменения и сложности, с которыми они сталкиваются на своем пути [3; 9].
Исследователи сходятся в том, что агентность развивается не сама по себе, а в определенном социальном и культурном контексте. Развивая идеи Выготского о развитии психических функций через прохождение этапов от внешней деятельности в сотрудничестве со взрослым к интериоризации, его последователи, такие как A. Стеценко, утверждают, что сам этот переход сопряжен с возникновением новой сферы действия, дающей возможность для трансформирующих социальных практик. В процессе деятельности человек воздействует на объекты, а объекты воздействуют на него, меняя восприятие и понимание себя личностью. Проходя через такие трансформации, мы меняем способы взаимодействия с миром и, соответственно, свою субъектность, что должно рассматриваться в контексте социальных структур. Таким образом, агентность составляет неотделимый аспект культурно-исторической теории развития личности [36]. 1
си
Следовательно, говоря о развитии агентности, мы подразумеваем 2 |5
^ с
возможности, возникающие в процессе социального взаимодействия g: и
г I- m
личности и общества, и в первую очередь - возможности, возникающие ш х в процессе обучения. Вопросы, на которые призвана ответить эта статья, х g сформулированы нами таким образом: Каковы представления исследо- ^ ^ вателей о связи самостоятельности с получаемым фидбэком? Каковы ^ условия эффективного взаимодействия учащихся с обратной связью?
Как уже упоминалось ранее, в настоящее время отдельные педагоги и инновационные школы предпринимают попытки воздействовать на агентность учащихся путем предоставления им больших свобод и возможностей для совершения выбора, например, давая им право принимать некоторые решения относительно их образования. На наш взгляд, при всей ценности подобных инициатив многие из них имеют один существенный недостаток, а именно их эпизодичность. Даже если допустить, что при работе над проектом или в случае школьного самоуправления взрослые не только декларируют самостоятельный выбор детей, но и действительно не используют свой авторитет для принятия окончательного правильного с их точки зрения решения, даже в этом случае такие события носят скорее разовый, акционный характер, и в них обычно вовлечен ограниченный круг учащихся, часто уже склонных к агентному поведению. Что касается более массовых и пролонгированных актов развития агентности вроде составления индивидуальных образовательных маршрутов или принятия решений по оцениванию своей работы, детям часто не хватает мотивации и навыков самостоятельности для ответственного выбора. Получается замкнутый круг: с целью развить самостоятельность в детях учителя предоставляют им возможности, не научив быть самостоятельными.
Среди других сложностей, названных учителями в отношении развития агентного поведения школьников, выделяются сопротивление родителей («Школа должна работать на академический результат»), а также организационные, финансовые и законодательные ограничения [9].
На наш взгляд, необходима такая форма организации деятельности, которая, с одной стороны, позволит интегрировать процесс развития самостоятельности в существующие формы социального взаимодействия, а с другой - учтет вышеизложенные трудности (будет иметь очевидный положительный эффект на академические успехи учащихся, затронет широкие массы детей, и при этом будет работать на развитие самостоятельного поведения безотносительно изначального уровня самостоятельности учащегося, с практической точки зрения не потре-к бует серьезного переобучения учителей и глобальных организационных ^ изменений, а также значительных финансовых затрат).
| | Такой формой совместной деятельности учителя и ученика может
о стать новый для российского образовательного пространства подход
ш
| х к организации обратной связи в процессе обучения.
Обратная связь в самом общем смысле слова как информация, сооб-^ щаемая учителю своим ученикам о результатах их деятельности, казаки ю1 лось бы, настолько неотъемлемая часть обучения, существующая столь-
ко же, сколько и сам процесс обучения, что она давно должна быть
всесторонне изучена и представлена в пособиях по педагогике и методике как набор эффективных инструментов, обязательный в арсенале любого организатора педагогического процесса от воспитателя детского сада до бизнес-тренера. Качественная обратная связь - важнейший компонент формирующего оценивания, без которого невозможно достижение современных целей образования [7]. Однако в реальности под обратной связью в образовании зачастую понимается обратная связь на учебные результаты, и такая обратная связь нередко сводится к выставлению оценки с небольшим комментарием, письменным или устным, наподобие «Молодец! Отличная работа!» или «Тема раскрыта не полностью». Несет ли такая обратная связь существенную информацию, помогающую учащимся сориентироваться в требованиях и ожиданиях учителя и понять, как именно им надо изменить свою работу или какие стратегии приведут к улучшению результата? Ответ, как правило, отрицательный.
Исследования показывают, что не только в нашей стране, но и за рубежом учащиеся в большинстве своем не удовлетворены результатами получаемой обратной связи. В исследовании А.А. Азбель и др. отмечается, что ученики 9-11 классов российских школ в целом демонстрируют нехватку обратной связи со стороны учителя и имеют скорее интуитивное представление о ее сути [1]. Это и неудивительно: А.А. Коренев подчеркивает, что в российском профессиональном стандарте «Педагог» умение давать обратную связь не входит в перечень необходимых навыков учителя [5]. Неудовлетворенность качеством обратной связи отмечают и зарубежные авторы, исследующие восприятие фидбэка студентами вузов [19]. При этом обратная связь является одним из наиболее мощных средств повышения качества образовательных результатов за счет целенаправленной работы над сокращением разницы между желаемым результатом и достигнутым. Эффективность обратной связи доказана многочисленными исследованиями, в том числе метаанализа-ми (размер эффекта обратной связи d = 0,75, что примерно в два раза превышает средний размер эффекта большинства факторов) [13].
CK X
История изучения обратной связи ш S
^ х
X 1=
Одними из первых ввели понятие обратной связи в пространство о
образования бихевиористы [20]. Они рассматривали его в катего- ^ х риях положительного и отрицательного подкрепления. Как писал х g B.F. Skinner, «если кто-то дает правильный ответ или совершает другое ^ правильное действие, он должен быть вознагражден. Например, если ^ ю1 учитель хвалит учеников за то, что они вовремя приходят в класс, это
I _ _
ISSN 2500-297X Pedagogy and Psychology of Education. 2023. No. 2
будет иметь положительный эффект для всех учащихся, находящихся в классе, и являющихся свидетелями похвалы» [20, с. 682]. Аналогичным образом работает отрицательное подкрепление и подкрепление наказанием. Положительное подкрепление (обратная связь) может выражаться не только вербально, но и в виде улыбки, похлопывания по плечу, возможности выбора заданий, концентрации на положительных моментах и т.д. Однако, как справедливо замечают критики данного подхода, в процессе обучения положительное и отрицательное подкрепления не всегда приводят к закреплению образовательных результатов.
В дальнейшем изучением обратной связи занимались многочисленные зарубежные исследователи (подробный исторический обзор представлен в статье D.A. Kluger и A. DeNisi [23]. Однако, как отмечается в вышеуказанной статье, значительное число прошлых работ не соответствуют современным понятиям о качестве исследования. Тем не менее, одно из важнейших заключений, сделанных авторами, - обратная связь не всегда имеет положительный эффект. Ее эффект может быть так же нейтральным и отрицательным.
Современные концепции обратной связи
В девяностые годы прошлого века потребность в повышении качества обучения привела к усилению интереса к обратной связи [16]. Появляются новые исследования, ставящие целью найти наиболее эффективные способы влиять на образовательные результаты с помощью обратной связи. Обратная связь начинает рассматриваться как процесс, находящийся под воздействием определенных социальных условий, в частности, взаимных ожиданий учеников и учителя [Там же]. На это же время приходится появление теории Self-Regulated Learning (SRL), в которой обратной связи отводится значительное место. В концепции D.L. Butler и P.H. Winne обратная связь, полученная из внешних источников, - встроенный катализатор внутренней обратной связи, который может как выступить подтверждением правильности понимания задания и выбранных студентом стратегий, так и наоборот, спровоцировать их пересмотр [18].
В отечественной исследовательской литературе обратная связь в обучении пока представлена очень мало. Есть исследования А.А. Коренева, который определил обратную связь как «информацию, получаемую учащимися в ответ на определенные действия в процессе образования и соотносимую с процессами и результатами обучения и воспитания» [5, с. 118]. Им же были введены в русскоязычный научный оборот термины «педагогическая обратная связь» и «академическая обратная
CK
X
I
го
го н
^ X
X с
ч и
о о
н m
Ol
Z X
X CK X
CK X
X Ol
^
О
Ш ю
F о
связь» для обозначения двух видов обратной связи: сообщаемой педагогом ученикам и наоборот, получаемая педагогом от других участников педагогического процесса [5].
До недавнего времени исследователи обратной связи фокусировались главным образом на действиях педагога. Соответственно, их исследовательский интерес лежал в плоскости содержания обратной связи и эффективных способах ее донесения. Предпосылку, из которой исходили исследователи, сформулировала американская исследовательница V. Shute: «Хороший фидбэк может значительно улучшить процесс и результаты обучения, если его правильно донести» [33, р. 154]. Она провела масштабный анализ имеющейся на тот момент литературы по формирующему оцениванию и вывела типологию обратной связи. Сфокусировавшись на обратной связи, предоставленной на уровне задания (об уровнях обратной связи мы поговорим ниже), V. Shute исследовала наиболее эффективные виды формирующего фидбэка, а также условия, при которых обратная связь помогает учащимся развить навыки или улучшить понимание материала. Ею были изучены механизмы обратной связи, ведущие к трансформации рудиментарных навыков в компетенции более высокого порядка. Важным моментом в работе V. Shute является выделение когнитивных механизмов, дающих учащимся возможность получить пользу от обратной связи. В частности, по V. Shute, фидбэк делает видимой разницу между желаемым и имеющимся уровнем освоения материала, тем самым снижая уровень неопределенности у учащихся. Кроме того, он эффективно помогает снизить когнитивную нагрузку, особенно у более слабых и новых учеников. Более специфичный фидбэк сообщает информацию о неэффективных стратегиях, недопонимании и процессуальных ошибках.
В своей работе V. Shute рассмотрела эффективность обратной связи с точки зрения развернутости, продолжительности по времени, времени сообщения (сразу после выполнения работы или после некоторого перерыва), уровня самих учащихся и др. Автор выделила одиннадцать разных типов обратной связи: отсутствие фидбэка, простое подтверждение правильности-неправильности, сообщение правильного ответа, предложение попытаться еще до нахождения правильного ответа, указание на место ошибки, указание на главные характеристики изучаемой | темы или отрабатываемого навыка, сообщение информации по изучаемой теме (обучение по новой), краткий разбор ответа ученика (поче- ^ му данный ответ правильный или неправильный), направление ученика в сторону правильного ответа (без сообщения правильного ответа), ^ §г подробный анализ ошибок и непонимания ученика, подробная обрат- ^ ю1 ная связь, включающая подтверждение правильности/неправильности, ^
к I
указание на место ошибки, а также помощь в выработке стратегии без сообщения правильного ответа. Выбор одного из этих типов делает учитель, основываясь на разных предпосылках (например, для слабых учеников, а также для учеников, находящихся на стадии восприятия, а не применения нового, предпочтительнее повторное объяснение материала, а не развернутая обратная связь, апеллирующая к неосвоенным понятиям) [33].
На основе анализа исследований обратной связи V. Shute разработала рекомендации, как следует и как не следует давать фидбэк, чтобы он имел образовательный эффект. На сегодняшний день ее гайдлайн по видам и содержанию обратной связи является одним из наиболее разработанных. Она обобщила собранные результаты исследований в таблицах «Что следует делать в процессе сообщения обратной связи» и «Что не следует делать в процессе сообщения обратной связи». Также ею были созданы гайдлайны по отношению фидбэка ко времени и индивидуальным характеристикам учащихся [Там же].
Значительный вклад в исследование обратной связи внесли J. Hattie и H. Timperley. В статье «The Power of Feedback» они определили четыре уровня, на которых она дается: уровень задания, уровень процесса, уровень саморегуляции и уровень личности [22]. Было установлено, что наименьшую эффективность для улучшения результатов обучения имеет обратная связь на уровне личности (общая оценка из разряда «Молодец!» или «У тебя хорошо получается!»), поскольку она малоинформативна для учащегося.
В исследованиях, проведенных J. Hattie и H. Timperley, показано, что наибольший эффект достигается обратной связью на уровне процесса, где происходит анализ лежащих в основе выполнения задания учебных стратегий. Такая обратная связь ценна тем, что ее результаты часто выходят за рамки конкретного задания и имеют более широкое применение. В качестве примера такой обратной связи J. Hattie приводит следующее высказывание преподавателя: «Отредактируй эту часть сочинения, обратив внимание на описания, чтобы читатель мог понять все к оттенки смысла, которые ты хочешь передать» [Там же]. ^ Еще один уровень обратной связи - уровень саморегуляции - также I | имеет доказанную эффективность. Такая обратная связь обращена к спо-о собности учащихся направлять и регулировать свою деятельность, она
н m
^ х включает самоконтроль, самодисциплину, самооценивание и автоно-^ § мию. Обратная связь на уровне саморегуляции отвечает на следующие ^ вопросы: есть ли у ученика потребность в обратной связи? Способен ли ^ ю1 ученик попросить о помощи, а также принять и обработать обратную связь? Насколько у ученика развита способность давать обратную связь
самому себе? Насколько он уверен в правильности своих ответов и стратегий? Каковы представления ученика об успехе и неудаче?
Учителями наиболее часто дается обратная связь на выполнение задания. И хотя такая обратная связь считается в целом менее полезной для учеников, чем обратная связь на уровне процессов или саморегуляции, поскольку ее выводы часто неприменимы к другим заданиям, ее повсеместная распространенность привела к высокой степени разработанности этой темы в исследованиях. В частности, было изучено влияние различных факторов на эффективность обратной связи, таких как время между выполнением задания и получением обратной связи (в частности, выяснилось, что и немедленный, и отложенный фидбэк эффективны в зависимости от других переменных: отложенный больше способствует формированию концепций, а немедленный - запоминанию процесса выполнения задания. Отложенная обратная связь больше подходит сильным студентам, поскольку влияет на вовлеченность и развивает автономию, в то время как более слабые студенты могут испытывать фрустрацию и демотивацию, не получив немедленного подтверждения правильности/неправильности выполнения задания).
Помимо содержания обратной связи и условий ее организации для достижения наибольшего эффекта, современные исследователи ставят вопрос об оптимальной форме подачи. Согласно исследованиям J. Hattie, наиболее эффективные виды обратной связи осуществляются в видео-, аудио- или компьютерном формате [13], что связано с исключением (для ученика) субъективного человеческого фактора, а также возможностью неоднократно возвращаться к такой обратной связи. Эффективность видео фидбэка подтверждает и исследование N. Brouwer et al. [17].
Грамотность по восприятию обратной связи (feedback literacy)
При том, что концепция обратной связи существует уже более ста лет, а пристальное внимание исследователей приковано к ней уже не меньше сорока лет, только относительно недавно при анализе причин, почему же обратная связь не всегда так эффективна, как должна быть, в поле зрения исследователей попал непосредственно сам ученик. Теперь вопрос был поставлен по-другому: не только что должен делать учитель, чтобы обратная связь дошла до адресата и поспособствовала улучшению его образовательных результатов, но и что должен со своей стороны сделать ученик, и какими он должен обладать качествами для получения максимальной пользы от обратной связи. Первым этот
ск
X
I
го
го н
^ X
X с
ч и
о о
н m
01
Z X
X о; X
о; I
X 01
^
О
Ш ю
F о
вопрос поднял P. Sutton в статье «Концептуализация грамотности восприятия обратной связи: знать, быть, действовать» ("Conceptualizing feedback literacy: knowing, being, and acting") [37]. Он предложил рассматривать навыки и характеристики учеников, необходимые для эффективной работы с обратной связью, как одну из грамотностей наряду с другими академическими грамотностями (например, умение писать академическим языком), т.е. как необходимый навык, который должен освоить каждый учащийся. Впрочем, согласно концепции академической грамотности, мало развить определенный навык: в процессе приобретения академической грамотности происходит трансформация личности учащегося, и он, по сути, развивает в себе новую сущность, социализированную в академическом пространстве и обогащенную новыми культурными нормами и ценностями [Там же].
Согласно концепции P. Sutton, быть грамотным с точки зрения восприятия обратной связи - это «иметь способность читать, интерпретировать и использовать фидбэк» [Там же, p. 31]. Исходя из этой концепции, чуть позже появились новые, углубленные и уточненные определения feedback literacy. Одной из наиболее заметных и повлиявших на дальнейшие исследования в этой области была работа исследователей D. Carless и D. Boud «Развитие feedback literacy студентов: возможности для восприятия обратной связи», в которой они подробно рассмотрели необходимые условия для развития такого качества, как грамотность в отношении обратной связи (feedback literacy) [19]. Согласно их концепции, студент, обладающий feedback literacy, должен в первую очередь осознавать важность обратной связи для процесса своего обучения и понимать, что обратная связь может исходить из разных источников, не обязательно учителя, но и родителей, одноклассников, других участников процесса обучения. Он должен понимать язык обратной связи, быть способным сделать самостоятельное оценочное суждение о своей работе и работе других. И наконец, он должен уметь управлять аффективными реакциями, которые часто возникают при получении критических замечаний. Более того, такой учащийся в идеале должен сам искать возможность получить обратную связь с целью улучшить свою работу. g Наличие всех трех вышеизложенных характеристик, по предположе-го нию D. Carless и D. Boud, являются предпосылкой для главного звена g | в цепи feedback literacy: совершения действия (рис. 1). о о Без действия учащегося вся конструкция обратной связи, какой бы 2 х детально проработанной со стороны учителя она не была, не имеет х х смысла. Именно учащийся выступает главным актором, и от его дей-^ ствий зависит, будет ли обратная связь иметь последствия в виде улуч-^ шения образовательных результатов и выработки новых, более эффек-
тивных стратегий или нет.
Принимают важность обратной связи Способны оценивать свою работу Умеют управлять аффектом
Способны предпринимать дальнейшие действия
Рис. 1. Отличительные характеристики студентов, обладающих feedback literacy (по [19])
Таким образом, за эффективность обратной связи в современном понимании несет ответственность не только учитель, но (возможно даже в большей степени) и ученик. Своими действиями, активным стремлением получить, понять и применить обратную связь он определяет конечный результат влияния обратной связи на процесс обучения.
Основываясь на концепции D. Carless и D. Boud, исследователи H.Y. Tay и K.W.L. Lam изучили условия аффективного, когнитивного и поведенческого взаимодействия с обратной связью и создали свою типологию практик обратной связи. Проведя серию фокус групп с учениками средней школы, они выяснили, что обратная связь положительным образом влияет на самоэффективность в том случае, если сопровождается комментарием учителя о том, как можно исправить работу или что сделано правильно для улучшения результатов. С точки зрения влияния на действия ученика, важно убедиться в понимании учениками содержания обратной связи: многие не предпринимают никаких действий именно по причине неумения интерпретировать комментарий учителя. Также исследователями отмечено, что ученики предпочитают не переделывать всю работу заново, а иметь возможность выбирать часть, которую им нужно переработать, поскольку это дает им ощущение агентности. Что касается когнитивной вовлеченности, ученики выделили два вида обратной связи как наиболее полезные для них: предварительное обсуждение критериев оценки и индивидуальное обсуждение работы после объявления результатов [38].
Значение диалога между учащимися и преподавателем в процессе обратной связи подчеркивали и другие исследователи. M. Price, K. Handley и J. Millar выяснили, что большое влияние на действия студентов по результатам полученной обратной связи имеют даже такие факторы, как взаимоотношения между учащимся и преподавателем [29]. 2
в ходе учебного процесса
го
— с Ч и
Обратная связь и ошибки школьников s ™
z
к I
Говоря об аффективном факторе при взаимодействии с обратной ^ ^ связью, нельзя не упомянуть о влиянии общего отношения к ошиб- ^ ^ кам, существующего в образовательной среде. В традиционном *
образовательном процессе школьного образования к допущению учащимися ошибок всегда существовало неоднозначное отношение. С одной стороны, на ошибках учатся, с другой - существует установка, что ошибок лучше не допускать, поскольку они наказуемы низкой отметкой. Отношение учителей к допущенным ошибкам может различаться в зависимости от конкретного учителя и контекста обучения. Некоторые учителя могут поощрять допущенные ошибки как часть процесса обучения, в то время как другие могут реагировать на ошибки школьников с негативом и критикой. По сути, такая ситуация приводит к тому, что у школьника отсутствует право на ошибку. Иногда в классической системе образования основным методом может быть обучение, при котором стараются избегать ошибок.
Однако следует признать, что в современных школах еще недостаточно сформирована культура оценки обучающихся, иногда оценка не аргументирована: ни ученику, ни родителю непонятно, что стоит за конкретной оценкой, даже если это высший балл. Учащиеся трактуют «культуру ошибок» как негативную, заявляют, что ошибки воспринимаются учителями в качестве недостатков и в целом педагоги не поддерживают обучение на ошибках [35]. Более того, страх школьника совершить ошибку повышает уровень стресса обучающихся. Аналитическая компания Harris Insights & Analytics в сотрудничестве с LEGO Education в 2019 г. провели масштабное международное исследование «Уверенность в процессе обучения». В ходе исследования были опрошены дети от 5 до 18 лет, а также родители и педагоги. По результатам данного исследования, 79% российских школьников испытывают стресс из-за успеваемости. Это самый высокий показатель. На втором месте Китай - 64%, на третьем Германия - 61%. Отмечается, что учителя, дети и их родители уверены в том, что причиной такой ситуации являются оценки и сравнение результатов разных учащихся. Также волнение у детей школьного возраста вызывают тесты и экзамены1.
В науках об образовании неоднократно поднимался вопрос о роли ошибок в обучении, ряд исследований показали, что ошибки и неудачи к в учебном процессе можно рассматривать как преимущество в обуче-I нии. Например, теория интерференции основана на том, что опыт оши-I I бок развивает навык у учащегося различать знания между правдивыми 5 о и теми знаниями, которые «конкурируют» с правдивыми [25]. ^ х Дискурс о том, как можно учиться на ошибках и на каких ошибках s § можно учиться, как учителя справляются с ошибками обучающихся,
к I
X Ш -
Т 1 „ - т,т,т
О ^ Ш ю F о
https://vogazeta.rU/articles/2020/1/16/analitycs/11122-rossiyskaya_shkola_zanyala_pervoe_ mesto_po_urovnyu_stressa_sredi_uchenikov (дата обращения: 22.04.2022).
находит все большее внимание в исследованиях по образованию. Идея о том, что ошибки могут иметь потенциал для обучения, поначалу слабо поддерживалась [32]. Однако в последние годы возникло много сомнений относительно того, является ли негативная оценка ошибок в педагогическом контексте наиболее эффективным подходом [41]. Ошибка возникает тогда, когда есть несоответствие между результатами действий ученика и ожиданиями ученика или учителя [21].
Концепция культуры ошибки была предложена швейцарской исследовательской группой во главе с Фрицем Озером. Ее основная идея заключалась в том, что учителя должны понимать, что ошибки имеют решающее значение для учебного процесса [27]. Исследователи считают, что отношение к ошибкам может быть учебно-ориентированным. Культура ошибки описывает среду обучения, в которой, с одной стороны, снижается страх совершения ошибки (эмоциональный компонент), а с другой стороны, поощряются учебные ситуации, если ошибка все-таки произошла (когнитивный компонент).
Еще одно исследование показывает, что, с позиции учащихся, обучение на ошибках допустимо, если учителя признают возможности совершения школьниками ошибок и не превращают это в своего рода наказание [35]. При этом важно, чтобы педагоги проводили обсуждение выявленных ошибок, находили их «корень», а не просто игнорировали неудачу школьника или сообщали правильный ответ без комментария. Для того чтобы извлечь пользу из ошибок, необходима корректирующая или конструктивная обратная связь. Исследователи утверждают, что учащимся следует регулярно давать корректирующую обратную связь после выполнения заданий, существует взаимосвязь успеваемости обучающихся и обратной связи. Она может помочь учащимся понять, почему они допустили ошибку и как ее исправить [26]. Такой подход к ошибкам в учебном процессе будет носить обучающий характер.
Преподавание больше не определяется как передача знаний, сегодня это процесс оказания помощи учащимся в понимании учебного материала и в преобразовании его в собственные знания, умения и навыки. Работа с ошибками учащихся в ходе использования кон- к
структивной обратной связи помогает им учиться на своих ошибках ^
и повышает, по сравнению с нейтральным отношением к ошибкам, | | их восприятие того, что они находятся в доверительном и поддержи- ^ о вающем учебном климате. Такой подход исследователи назвали «кли- ^ х мат ошибки» [34]. х §
Учителя, использующие подходы, поддерживающие конструктив- ^ ное (позитивное) исправление ошибок, стимулируют учеников к более ^ активной и продуктивной работе в классе [Там же]. Эффект в обучении
напрямую зависит от того, как именно учитель дает обратную связь. Недостаточно просто отметить, что ученик был неправ, и заменить его ответ на верный, важно создать благоприятную атмосферу.
Возможности организации обратной связи в школе
Исследуя причины, ведущие к слабому взаимодействию студентов с обратной связью, N. Winstone et al. выделили четыре препятствия (названные ими барьерами): проблемы с интерпретацией содержания, сложности в выборе наиболее подходящих стратегий, неверие в свою способность что-то изменить посредством обратной связи и, наконец, нежелание учащихся прикладывать усилия для осознания возможностей обратной связи. Исследователи сделали предположение, что влияние этих препятствий варьируется в зависимости от индивидуальных характеристик учеников, в частности, от их установки на рост/данность (соответственно, на глубокое/поверхностное усвоение материала). Основываясь на этих предпосылках, N. Winstone et al. разработали набор инструментов DEFT, нацеленных на помощь в восприятии, интерпретации и использовании обратной связи. Он состоит из четырех разных компонентов: словарь терминов, использующихся учителем в комментариях; алгоритм, помогающий выбрать оптимальные стратегии; семинар, на котором обсуждается обратная связь и, наконец, портфолио, с помощью которого учащиеся могут отследить свой прогресс, основанный на использовании результатов обратной связи. Однако, проведя ряд эмпирических исследований восприятия студентами этого набора инструментов, они обнаружили, что при в целом положительном восприятии всех компонентов учащиеся выражали недостаточно высокую заинтересованность в их использовании. Впрочем, интервенция (участие в семинаре) меняла восприятие на более положительное [39]. Мы предполагаем, что это может быть связано с недостаточным положительным опытом работы с обратной связью у учащихся. На наш взгляд, похожие инструменты могли бы быть полезны и в российской школе (при условии адаптации), где, как показано в исследовании A.A. Азбель, учащиеся 1 плохо понимают содержание и ценность обратной связи [1].
ГО
2 х Для эффективной работы с обратной связью большое значение имеет g: и изменение отношения к ошибкам в школе. Допущение школьниками
I- m г
ш х ошибок и использование их в качестве возможности для роста и совер-х § шенствования может положительно повлиять на их образовательные ^ | результаты и помочь в развитии навыков, например, в области само° ю1 регуляции, мотивации, адаптации к новым задачам. Ошибки следует рассматривать как естественную часть учебного процесса, и в целом
как инструмент для формирования образовательных результатов. Поэтому важно помочь школьникам научиться использовать ошибки как возможность для роста и развития, а не воспринимать их как свое поражение. Учителя могут обучать учеников анализировать свои ошибки, понимать, как их избежать в будущем, и использовать для осмысления учебного материала. Это в свою очередь может уменьшить страх перед ошибками и помочь школьникам чувствовать себя уверенно в процессе обучения.
Необходимо отметить, что исследование эффектов вовлечения учащихся в улучшение образовательных результатов через развитие грамотности по восприятию обратной связи до недавнего времени затруднялось отсутствием инструмента измерения. Лишь в 2022 г. был впервые создан и апробирован на китайских студентах высшей школы опросник из 24 вопросов, оценивающих такие показатели, как поиск обратной связи; обработка информации обратной связи, планирование действий; осознание ценности обратной связи; способность контролировать эмоции в процессе получения обратной связи; вовлеченность в процесс получения обратной связи [42]. Возможно, его появление форсирует не только количество теоретических работ по теме feedback literacy, но и создание практических инструментов, применимых в разных образовательных контекстах. В наших дальнейших планах перевод и адаптация шкалы измерения feedback literacy для использования ее в работе с российскими подростками.
Заключение
Несмотря на то, что тема обратной связи не нова в науках об образовании, и обратная связь признана одним из наиболее значимых инструментов улучшения образовательных результатов и повышения самоэффективности учащихся, выясняется, что на практике этот инструмент, как правило, используется мало и неэффективно. Это может быть как свидетельством неумения учителем давать конструктивную обратную связь, ведущую к позитивным изменениям в работах учеников, так и неспособностью учеников предпринимать действия по результатам 1
го
полученной обратной связи в силу недостаточного уровня развития 2 ^ определенных характеристик, обобщенно называемых грамотностью g: и по восприятию обратной связи (feedback literacy). В современной иссле- | ™ довательской повестке наблюдается острая нехватка как теоретических х g
„ К I
моделей развития этой грамотности у учащихся разных возрастов, так ^ ш и готовых практических инструментов для применения в разных обра- ю1 зовательных контекстах. ,
Библиографический список / References
1. Азбель А.А., Илюшин Л.А., Морозова П.А. Обратная связь в обучении глазами российских подростков // Вопросы образования. 2021. № 1. С. 195-212. [Azbel A.A., Ilyushin L.A., Morozova P.A. Feedback in learning through the eyes of Russian teenagers. Educational Studies Moscow. 2021. No. 1. C. 195-212. (In Rus.)]
2. Добрякова М.С., Юрченко О.В. Агентность и семейные образовательные стратегии: между сильной школой и свободой анскулинга: информационный бюллетень. М., 2023. [Dobryakova M.S., Yurchenko O.V. Agentnost i semeynye obrazovatelnye strategii: mezhdu silnoy shkoloy i svobodoy anskulinga [Agency and family education strategies: Between a strong school and unschooling freedom]. Moscow, 2023.]
3. Гавриленко П.А. Изменения в представлениях и практиках школьных учителей как основа для самостоятельного действия подростка. Институциональный подход // Психологическая наука и образование. 2022. Т. 27. № 3. С. 39-49. [Gavrilenko P.A. Changes in the ideas and practices of school teachers as a basis for independent action of a teenager. institutional approach. Psychological Science and Education. 2022. Vol. 27. No. 3. Pp. 39-49. (In Rus.)]
4. Гошин М.Е., Сорокин П.С., Косарецкий С.Г. Агентность школьников в условиях изменений образовательного контекста в период пандемии COVID-19: источники, проявления и эффекты // Мониторинг общественного мнения: экономичесике и социальные перемены. 2022. № 5. С. 394-417. [Goshin M.E., Sorokin P.S., Kosaretsky S.G. Agency of schoolchildren in the changing educational context during COVID-19 pandemic: Sources, manifestations, and effects. Monitoring of Public Opinion: Economic and Social Change. 2022. No. 5. Pp. 394-417. (In Rus.)]
5. Коренев А.А. Обратная связь в обучении и педагогическом общении // Rhema. Рема. 2018. № 2. С. 112-127. [Korenev A.A. Feedback in learning and pedagogical communication. Rhema. 2018. No. 2. Pp. 112-127. (In Rus.)
6. Петровский В.А. Субъектность: новая парадигма в образовании // Психологическая наука и образование. 1996. № 3. С. 100-109. [Petrovsky V.A. Subjectivity: A new paradigm in education. Psychological Science and Education. 1996. No. 3. Pр. 100-109. (In Rus.)]
7. Пинская М.А. Формирующее оценивание и качество образования // Вопросы образования. 2010. № 1. С. 179-185. [Pinskaya M.A. Formative evaluation and quality of education. Questions of Education. 2010. No. 1. Pp. 179-185. (In Rus.)]
§ 8. Поливанова К.Н., Бочавер А.А. Возможна ли детская самостоятельность
го в современной школе? // Психологическая наука и образование. 2022.
g х № 3 (27). C. 6-15. [Polivanova K.N., Bochaver A.A. Is it possible for children
to be independent in a modern school? Psychological Science and Education. 2022. No. 3 (27). Pp. 6-15. (In Rus.)] 9. Русакова А.В. Потенциал развития автономии учащихся в средней к it школе // Психологическая наука и образование. 2022. Т. 27. № 3. С. 28-38.
о. [Rusakova A.V. Potential for the development of autonomy of students
■fu in secondary school. Psychological Science and Education. 2022. Vol. 27.
ct
0 i—
01
z
No. 3. Pp. 28-38. (In Rus.)]
10. Сорокин П.С. «Трансформирующая агентность» как предмет социологического анализа: современные дискуссии и роль образования // Вестник РУДН. Серия: Социология. 2021. Т. 21. № 1. С. 124-138. [Sorokin P.S. "Transformative agency" as a subject of sociological analysis: Modern discussions and the role of education. RUDN Journal of Sociology. 2021. Vol. 21. No. 1. Pp. 124-138. (In Rus.)]
11. Новые требования к человеческому потенциалу: развитие самостоятельности / Сорокин П.С., Фрумин И.Д., Терентьев Е.А., Корешникова Ю.Н. М., 2022. [Sorokin P.S., Frumin I.D., Terentiev E.A., Koreshnikova Yu.N. Novye trebovaniya k chelovecheskomu potentsialu: razvitie samostoyatelnosti [New requirements for human potential: Development of autonomy]. Moscow, 2022.]
12. Самостоятельность и проактивное поведение. 2 том доклада «Глобальный ландшафт исследований и перспективных разработок в области укрепления человека» / Науч. ред. П.С. Сорокин. М., 2022. [Autonomy and proactive behavior. Report "Global landscape of research and developments in the field of human strengthening". Vol. 2. P.S. Sorokin (ed.). Moscow, 2022.]
13. Хэтти Дж.А.С. Видимое обучение: синтез результатов более 50 000 исследований с охватом более 86 миллионов школьников / Пер. Н.В. Селиванова. М., 2017. [Hattie J. Vidimoe obuchenie: sintez rezultatov bolee 50 000 issle-dovanij s ohvatom bolee 86 millionov shkolnikov [Visible learning: A synthesis of over 800 meta-analyses relating to achievement]. N.V. Selivanov (transl.). Moscow, 2017. (In Rus.)]
14. Bandura A. Adolescent development from an agentic perspective. Self-Efficacy Beliefs of Adolescents. Information Age Publishing, 2005.
15. Bindl U.K., Parker S.K. Proactive work behavior: Forward-thinking and change-oriented action in organizations. APA Handbook of Industrial and Organizational Psychology. Vol. 2: Selecting and developing members for the organization. Washington, 2011. Pp. 567-598.
16. Black P., Wiliam D. Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice. 1998. No. 1 (5). Pp. 7-74.
17. Brouwer N., Besselink E., Oosterheert I. The power of video feedback with structured viewing guides. Teaching and Teacher Education. 2017. Vol. 66. Pp. 60-73.
18. Butler D.L., Winne P.H. Feedback and self-regulated learning: A theoretical synthesis. Review of Educational Research. 1995. Vol. 65. No. 3. Pp. 245-281.
19. Carless D., Boud D. The development of student feedback literacy: Enabling uptake of feedback. Assessment and Evaluation in Higher Education. 2018. Vol. 43. No. 8. Pp.1315-1325.
20. Gordan M.A. Review of B.F. Skinner's "Reinforcement Theory of Motivation". International Journal of Research in Education Methodology. 2014. Vol. 5. No. 3. Pp. 680-688.
21. Grassinger R., Steuer G., Berner V.D. et al. Ausprägung und Entwicklung ш Adaptiver Reaktionen auf fehler in der Sekundarstuge (Magnitude and changes
22. Hattie J., Timperley H. The power of feedback. Review of Educational Research. 2007. Vol. 77. No. 1. Pp. 81-112.
z
in adaptive dealing with errors in secondary school). Zeitschrift für Pдdagogische c; i
Ol
Psychologie. 2015. Vol. 29. No. 3-4. Ss. 215-225. g. ^
ш ^ F о
23. Kluger A.N., DeNisi A. The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback interventin theory. Psychological Bulletin. 1996. Vol. 119. No. 2. Pp. 254-284.
24. Little D. Learner autonomy 1: Definitions, issues and problems. Dublin, 1999.
25. Melton A.W., Irwin J.M. The infuence of gegree of interpolated learning on retroactive inhibition and the overt transfer of specifc responses. American Journal of Psychology. 1940. Vol. 53. No. 2. Pp. 173-203.
26. Mera Y., Rodriguez G., Marin Garcia E. Unraveling the benefts of experiencing errors during learning: Defnition, modulating factors, and explanatory theories. Psychonomic Bulletin & Review. 2022. No. 29. Pp. 753-765.
27. Oser F., Spychiger M. Lernen ist schmerzhaft: Zur Theorie des negativen Wissens und zur Praxis der Fehlerkultur. Langensalza, 2005.
28. Panadero E. A review of self-regulated learning: Six models and four directions for research. Front. Psychol. 2017. Vol. 8. P. 422.
29. Price M., Handley K., Millar J. Feedback: Focusing attention on engagement. Studies in Higher Education. 2011. Vol. 36. No. 8. Pp. 879-896.
30. Scharle A., Szabo A. Learner autonomy: A guide to developing learner responsibility. Cambridge; New York, 2000.
31. Schriftenreihe zum Projekt "Lernen Menschen aus Fehlern"? Zur Entwicklung einer Fehlerkultur in der Schule. Antrag an den Schweizerischen Nationalfonds. 1995. No. 4. Pp. 43-70.
32. Seifried J., Wuttke E. Student errors: How teachers diagnose and respond to them. Empirical Research in Vocational Education and Training. 2010. No. 2 (2). Pp. 147-162.
33. Shute V. Focus on formative feedback. Review of Educational Research. 2008. Vol. 78. No. 1. Pp. 153-189.
34. Soncini A., Matteucci M.C., Butera F. Error handling in the classroom: An experimental study of teachers' strategies to foster positive error climate. European Journal of Psychology of Education. 2021. No. 36 (3). Pp. 719-738.
35. Spychiger M., Mahler F., Hascher T., Oser F. Fehlerkultur aus der Sicht von Schülerinnen und Schülern. Der Fragebogen S-UFS: Entwicklung und erste Ergebnisse, 1998.
36. Sugarman J., Sokol B. Human agency and development: An introduction and theoretical sketch. New Ideas in Psychology. 2012. No. 1 (30). Pp. 1-14.
37. Sutton P. Conceptualizing feedback literacy: Knowing, being, and acting. Innovations in Education and Teaching International. 2012. Vol. 49. No. 1. Pp. 31-40.
38. Tay H.Y., Lam K.W.L. Students' engagement across a typology of teacher feedback practices. Educ. Res. Policy Prac. 2022. Vol. 21. No. 3. Pp. 427-445.
x 39. Winstone N., Mathlin G., Nash R.A. Building feedback literacy: Students' ro ro perceptions of the developing engagement with feedback toolkit. Frontiers
g ! in Education. 2019. Vol. 4. Article 39.
o o 40. Yan Z., Carless D. Self-assessment is about more than self: The enabling role Sü ™ of feedback literacy. Assessment & Evaluation in Higher Education. 2022.
^ k Vol. 47. No. 7. Pp. 1116-1128.
k i 41. Yerushalmi E., Polingher C. Guiding students to learn from mistakes. Physics
Ü ^ Education. 2006. Vol. 41. No. 6. Pp. 532-538.
o ^ F
i<2 42. Zhan Y. Developing and validating a student feedback literacy scale. Assessment
& Evaluation in Higher Education. 2022. Vol. 47. No. 7. Pp. 1087-1100.
Статья поступила в редакцию 07.11.2022, принята к публикации 18.12.2022 The article was received on 07.11.2022, accepted for publication 18.12.2022
Сведения об авторах / About the authors
Чернобай Елена Владимировна - доктор педагогических наук, профессор; профессор Департамента образовательных программ Института образования, Национальный исследовательский университет «Высшая школа экономики», г. Москва
Elena V. Chernobay - Dr. Pedagogy Hab.; professor at the Department of Educational Programmes of the Institute of Education, HSE University, Moscow E-mail: [email protected]
Холманская Марина Владимировна - аспирант Аспирантской школы Института образования, Национальный исследовательский университет «Высшая школа экономики», г. Москва
Marina V. Kholmanskaya - postgraduate student at the Postgraduate School of the Institute of Education, HSE University, Moscow E-mail: [email protected]
Заявленный вклад авторов
Чернобай Е.В. - общее руководство, анализ и интерпретация литературы, подготовка текста статьи
Холманская М.В. - анализ и интерпретация литературы, подготовка текста статьи
Contribution of the authors
E.V. Chernobay - general guidance, analysis and interpretation of literature, preparation of the text of the article
M.V. Kholmanskaya - analysis and interpretation of literature, preparation of the text of the article
Все авторы прочитали и одобрили окончательный вариант рукописи All authors have read and approved the final manuscript
