CC BY
7
Вестник Тамбовского университета. Серия: Гуманитарные науки Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review. Series: Humanities
Print ISSN 1810-0201, Online ISSN 2782-5825
https ://vestsutmb. elpub. ru
Научная статья УДК 372.881.1+004.8
https://doi.org/10.20310/1810-0201-2024-29-4-913-926
(I Check for updates
Тематический контроль и критериальное оценивание иноязычных письменных умений с помощью технологий искусственного интеллекта
Максим Николаевич Евстигнеев ФГБОУ ВО «Тамбовский государственный университет им. Г.Р. Державина» 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33 maximevstigneev@bk. га
Актуальность. В настоящее время наблюдается тенденция, что при обучении иностранному языку педагоги все чаще прибегают к использованию технологий искусственного интеллекта для планирования учебных занятий, генерации образовательного контента, а также для проведения автоматизированного тестирования сформированных коммуникативных умений и навыков. Осуществление контроля учебных достижений и оценивания выступает одним из ключевых компонентов организации учебного процесса. Традиционные методы контроля и оценивания требуют значительных временных и трудоемких затрат от педагога, в то время как технологии искусственного интеллекта позволяют упростить и автоматизировать обычные рутинные задачи: проверять тесты и письменные работы, анализировать их и выявлять допущенные ошибки, предоставлять обратную связь. Благодаря интеграции технологий обработки естественного языка (NLP) в чат-боты и адаптивные интеллектуальные системы обучения становится возможным на повседневной основе осуществлять проверку текстов, созданных обучающимися, оценивать их с точки грамматической и лексической корректности, а также выявлять стилистические и фактические ошибки в режиме реального времени. Целью исследования выступает проверка применимости технологий искусственного интеллекта для проведения тематического контроля и критериального оценивания учебных достижений на примере продуктивного и репродуктивного письма. Методы исследования. При проведении настоящего исследования были использованы следующие группы методов: теоретические методы, направленные на ознакомление с научно-методической литературой по теме исследования, анализ и классификация теоретического и методического материала по проведению тематического контроля и критериального оценивания на занятиях по иностранному языку, а также эмпирические методы, позволившие провести моделирование педагогических процессов контроля и оценивания с помощью технологий искусственного интеллекта, наблюдение, анализ и описание полученных результатов.
Определение понятий. В качестве основных понятий в исследовании использованы «контроль учебных результатов» и его разновидность «тематический контроль», «критериальное оценивание».
Результаты исследования. В ходе исследования были рассмотрены различные виды проведения контроля учебных результатов с помощью технологий искусственного интеллекта: предварительный, текущий, промежуточный, тематический, итоговый. Выбор тематического
© Евстигнеев М.Н., 2024
913
контроля обусловлен возможностью проследить его применимость в рамках одного занятия по иностранному языку и выявить основные трудности при использовании данной формы контроля. Для проведения оценивания учебных результатов с помощью технологий искусственного интеллекта были использованы следующие критерии оценивания умений письменной речи: а) структура письменного текста; б) соответствие основной тематике; в) когерентность; г) релевантность; д) грамматическая корректность; е) лексическая корректность; ж) этика письма и стилистическая корректность.
Выводы. Технологии искусственного интеллекта на современном этапе обладают высокой степенью адаптивности и включают широкий спектр программно-аппаратных решений, позволяющих осуществлять такие важные педагогические процедуры, как контроль учебных достижений и оценивание в соответствии с заданными пользователями критериями оценки. Полученные результаты предлагается использовать в исследованиях, посвященных изучению современных методов контроля учебных достижений в методике обучения иностранным языкам с помощью технологий искусственного интеллекта.
Ключевые слова: контроль учебных достижений, тематический контроль, критериальное оценивание, компетенция педагога иностранного языка, технологии искусственного интеллекта, нейросети, чат-боты
Благодарности и финансирование. Финансирование работы отсутствовало. Конфликт интересов. Автор заявляет об отсутствии конфликта интересов. Для цитирования: Евстигнеев М.Н. Тематический контроль и критериальное оценивание иноязычных письменных умений с помощью технологий искусственного интеллекта // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 4. С. 913926. https://doi.org/10.20310/1810-0201-2024-29-4-913-926
Original article
https://doi.org/10.20310/1810-0201 -2024-29-4-913-926
Thematic control and criteria-based assessment of foreign language writing skills using artificial intelligence technologies
Maxim N. Evstigneev Derzhavin Tambov State University 33 Internatsionalnaya St., Tambov, 392000, Russian Federation maximevstigneev@bk. ru
Importance. Currently, there is a tendency that when teaching a foreign language, teachers are increasingly resorting to the use of artificial intelligence technologies to plan training sessions, generate educational content, as well as to conduct automated testing of formed communication skills. The monitoring of academic achievements and assessment is one of the key components of the organization of the educational process. Traditional methods of control and assessment require significant time and labor-intensive costs from the teacher, while artificial intelligence technologies make it possible to simplify and automate routine tasks: check tests and written papers, analyze them and identify mistakes, provide feedback. Thanks to the integration of natural language processing (NLP) technologies into chatbots and adaptive intelligent learning systems, it becomes possible on a daily basis to check texts created by students, evaluate them from the point of view of grammatical and lexical correctness, as well as identify stylistic and factual errors in real time. The purpose of this work is to test the applicability of artificial intelligence technologies for
thematic control and criteria-based assessment of educational achievements using the example of productive and reproductive writing.
Research Methods. In carrying out this study, the following groups of methods were used: theoretical methods aimed at familiarizing with scientific and methodological literature on the topic of research, analysis and classification of theoretical and methodological material for conducting thematic control and criterion assessment in foreign language classes, as well as empirical methods that allowed modeling pedagogical control and assessment processes using artificial intelligence technologies, observation, analysis and description of the results obtained. Definition of Concepts. The main concepts used in the study are "control of educational results" and its variety "thematic control", "criterion assessment".
Results and Discussion. In the course of the study, various types of monitoring educational results using artificial intelligence technologies were considered: preliminary, current, intermediate, thematic, final. The choice of thematic control is due to the opportunity to trace its applicability within the framework of a single lesson in a foreign language and identify the main difficulties in using this form of control. The following criteria for evaluating writing skills are used to evaluate learning outcomes using artificial intelligence technologies: a) the structure of the written text; b) compliance with the main topic; c) coherence; d) relevance; e) grammatical correctness; f) lexical correctness; g) ethics of writing and stylistic correctness.
Conclusion. Artificial intelligence technologies at the present stage have a high degree of adaptability and include a wide range of software and hardware solutions that allow for such important pedagogical procedures as monitoring educational achievements and evaluation in accordance with user-defined evaluation criteria. The obtained results are proposed to be used in research devoted to the study of modern methods of monitoring educational achievements in the methodology of teaching foreign languages using artificial intelligence technologies.
Keywords: control of educational achievements, thematic control, criteria assessment, competence of a foreign language teacher, artificial intelligence technologies, neural networks, chatbots Acknowledgements and Funding. No funding was reported for this research. Conflict of Interest. The author declare no conflict of interest.
For citation: Evstigneev, M.N. (2024). Thematic control and criteria-based assessment of foreign language writing skills using artificial intelligence technologies. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki. Tambov University Review. Series: Humanities, vol. 29, no. 4, pp. 913-926. https://doi.org/10.20310/1810-0201-2024-29-4-913-926
АКТУАЛЬНОСТЬ
Обладая значительным потенциалом, технологии искусственного интеллекта активно интегрируются в систему современного языкового образования и обогащают учебные практики, несмотря на ряд неразрешенных нормативно-правовых вопросов. С точки зрения регуляторной политики в отношении технологий искусственного интеллекта в соответствии с Указом Президента Российской Федерации № 490 «О развитии искусственного интеллекта в Российской Федерации» (в редакции № 124 от 15 февраля 2024 г.) в качестве основных направлений применения ИИ-технологий в образовании обозначены повышение качества образова-
тельных услуг за счет персонализации учебного процесса, интеллектуальный анализ эффективности системы образования и сопоставление с реальными результатами учебной деятельности, выявление талантливой молодежи и создание автоматизированной системы оценки учебных достижений1. Безусловно, интеграция новых ИИ-технологий в учебный процесс в полной мере удовлетворяет основным положениям цифровой трансформации системы образования, по которым осуществляется использование ком-
1 О развитии искусственного интеллекта в Российской Федерации: Указ Президента Российской Федерации от 10.10.2019 № 490 (в ред. № 124 от 15.02.2024). URL: http://www.kremlin.ru/acts/bank/44731 (дата обращения: 23.05.2024).
плекса цифровых технологий для решения различных задач на всем протяжении педагогического процесса обучения: от планирования до оценки учебных достижений [1]. Однако до сих пор остаются актуальными вопросы регулирования статуса ИИ-технологий в образовательных учреждениях, некоторые из которых самостоятельно принимают локальные акты об использовании новых технологий в качестве инструмента поиска и верификации учебной информации, составления списка литературы по теме исследования, а также ассистента для написания выпускных квалификационных работ; этики написания текста с помощью ИИ-технологий и определение авторства; организации информационной безопасности при работе с ИИ-технологиями; необходимости формирования особого вида компетенции педагога иностранного языка, позволяющего эффективно использовать ИИ-технологии в учебном процессе [2].
Анализ научной литературы по теме интеграции ИИ-технологий в методику обучения иностранным языкам позволяет сделать выводы о том, что исследователями предпринимались попытки использовать новые средства обучения на практике для планирования учебного занятия по иностранному языку с помощью генеративного искусственного интеллекта [3], оценивания и тестирования при обучении иностранному языку с помощью ИИ-технологий [4], использования интеллектуальных систем обучения иностранным языкам [5], формирования иноязычной грамматической и лексической компетенций [6; 7], использования корпусных технологий искусственного интеллекта в обучении иностранному языку [8], обучения учащихся и студентов написанию эссе на основе чат-ботов [9]. Наиболее примечательной работой является разработка матрицы инструментов ИИ в лингвометодической подготовке педагога иностранного языка, в рамках которой исследователи выделяют доступные средства обучения и дифференцируют их по шести видам обратной связи от генеративных ИИ-технологий [10]. Выделе-
ние оценочной обратной связи от ИИ-технологий рассматривается в данном исследовании как возможность проводить качественную и количественную оценку учебных достижений, в том числе и творческих средствами новых инновационных средств обучения.
МЕТОДЫ ИССЛЕДОВАНИЯ
При проведении настоящего исследования были использованы следующие группы методов: теоретические методы, направленные на ознакомление с научно-методической литературой по теме исследования, анализ и классификацию теоретического и методического материала по проведению тематического контроля и критериального оценивания на занятиях по иностранному языку, а также эмпирические методы, позволившие провести моделирование педагогических процессов контроля и оценивания с помощью технологий искусственного интеллекта, наблюдение, анализ и описание полученных результатов.
ОПРЕДЕЛЕНИЕ ПОНЯТИЙ
Оценочная обратная связь от ИИ-технологий предполагает осуществление контроля учебной деятельности обучающихся и оценивание полученных результатов. Контроль учебных достижений в работе рассматривается как предоставление обратной связи от ИИ-технологий с целью проведения систематического мониторинга учебной деятельности на всем протяжении учебного процесса, направленного на выявление уровня знаний, умений и навыков обучающихся. Традиционно к средствам проведения контроля учебных достижений относят тестовые задания, устные опросы, письменные работы, проектную деятельность и другие формы определения академической успеваемости. В соответствии с реализацией ключевых задач педагогической деятельности контроль учебных достижений направлен на выполнение следующих функций: диагностической, фор-
мирующей, контрольной, корректирующей, мотивационной и прогностической [11]. В табл. 1 представлена классификация функций контроля учебных достижений и описаны их дидактические свойства.
Анализ табл. 1 позволяет сопоставить функции и виды педагогического контроля учебных достижений и определить тематический контроль как наиболее подходящий вид мониторинга, который предполагается получить в обратной связи от ИИ-технологий. Под тематическим контролем понимается процесс проверки знаний и умений обучающихся по определенным темам или разделам учебного материала. Тематический контроль направлен на оценку усвоения конкретных аспектов учебной программы и выявление пробелов в знаниях обучающихся. Преимущество тематического контроля от ИИ-технологий заключается в том, что его эффек-
тивность предполагается отследить в рамках одного занятия по иностранному языку с использованием современных средств обучения.
Критериальное оценивание - это метод оценки учебных достижений, основанный на использовании четко обозначенных критериев. Данный метод предполагает, что оценка учебных достижений осуществляется на основе заранее установленных критериев, которые описывают, что именно должно быть достигнуто для получения обозначенной оценки. Критериальное оценивание способствует объективности и прозрачности оценки, поскольку обучающиеся и педагог заранее знают, по каким критериям будет оцениваться их деятельность. Благодаря этому у обучающихся создаются положительные ожидания к представленным требованиям, а у педагога - представления о форме обратной
Таблица 1
Классификация функций контроля учебных достижений
Table 1
Educational achievement control functions classification
Функция Дидактические свойства Вид контроля
Диагностическая Выявление текущего уровня знаний, умений и навыков позволяет педагогу определять сильные и слабые стороны каждого обучающегося и оценивать эффективность методики обучения Предварительный (входной) контроль, текущий контроль
Формирующая Развитие у обучающихся навыков самооценки и самоконтроля, способствующих формированию критического мышления, высокой степени самостоятельности и ответственности Текущий контроль, акцентирующий использование самостоятельной работы и заданий рефлексивного характера, тематический контроль
Контрольная Обеспечение объективной оценки учебных достижений, поддержание высоких стандартов обучения и прозрачности оценивания учебной деятельности Тематический контроль, промежуточный контроль, итоговый контроль
Корректирующая Внесение изменений на основе результатов педагогического контроля, адаптация учебного материала под потребности обучающихся Текущий контроль, тематический контроль, промежуточный контроль
Мотивационная Стимулирование обучающихся к улучшению результатов учебной деятельности Текущий контроль, тематический контроль, промежуточный контроль
Прогностическая Прогноз будущих достижений на основе текущих результатов учебной деятельности, планирование учебной деятельности и выявление потенциальных трудностей Анализ данных промежуточного или итогового контроля для дальнейшей разработки индивидуальной траектории обучения
Источник: составлено автором. Source: constructed by the author.
связи, ее качестве и объективности. В качестве критериев оценки учебных достижений выступают формализированные требования, обозначенные в федеральных нормативных документах или локальных актах, установленных образовательной организацией. Например, применительно к обучению иноязычной письменной речи при написании эссе обычно оцениваются такие критерии, как соответствие работы заданной теме, отсутствие фактических, лексических, грамматических и стилистических ошибок, построение логики высказывания, актуальность используемых источников и др. Однако при использовании тематического контроля следует учитывать, что, помимо оценивания предметных результатов (получение социокультурных знаний о стране изучаемого языка), также оцениваются и метапредметные учебные достижения (логика высказывания, способность интерпретировать языковой материал, использование различных информационных источников, анализ и классификация получаемой информации) [11].
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Для проведения экспериментального занятия по иностранному языку с использованием ИИ-технологий с целью определения их применимости для обеспечения качественной оценочной обратной связи использовались чат-бот Mistral AI, профессионально ориентированная на педагога иностранного языка нейросеть Twee, а также для сравнения были использованы сервисы автоматизированного перевода и правописания DeepL и Яндекс.Переводчик. В экспериментальном занятии по иностранному языку приняли участие студенты второго курса направлений подготовки «Педагогическое образование (английский язык)» и «Лингвистика (теория и методика преподавания иностранных языков и культур)». Для проведения экспериментального занятия по иностранному языку студентам предварительно было дано задание написать аргументационное эссе на тему "How we can use AI in foreign language tea-
ching?" объемом не более двухсот пятидесяти слов. В качестве критериев оценки были определены: а) структура письменного текста; б) соответствие основной тематике; в) когерентность; г) релевантность; д) грамматическая корректность; е) лексическая корректность; ж) этика письма и стилистическая корректность. Во время проведения занятия готовые эссе было предложено проверить с помощью обозначенных в табл. 2 ИИ-технологий в соответствии с представленными критериями и показателями оценки иноязычных письменных умений обучающихся и обсудить полученные результаты.
При использовании чат-бота Mistral AI первоначально не указывались обозначенные в таблице критерии оценки. Интерес для исследования представлял комплекс критериев, которой был бы предложен искусственным интеллектом. В качестве промта для чат-бота использовалось следующее предложение: «Оцени аргументационное эссе, определи критерии оценки и поставь общую оценку». Так, при первичной проверке без указания критериев оценки чат-бот Mistral AI выделил сильные и слабые стороны проверяемого эссе. К сильным сторонам чат-бот отнес наличие введения и заключения, хорошо структурированные аргументы и наличие примеров, усиливающих позицию автора, переходы между предложениями, обеспечивающие связность и логичность текста, общее раскрытие темы. А к слабым сторонам, как и ожидалось, во-первых, были отнесены наличие ошибок в правописании, грамматические и лексические ошибки, повторы грамматических конструкций и лексических оборотов, а во-вторых, отсутствие статистической информации и поверхностное изложение фактов. Оценку письменной работы чат-бот производил по десятибалльной шкале оценки, выставил оценку «8,5» баллов за содержание эссе, «8,5» баллов за структуру и наличие аргументации, «7,5» баллов за языковую корректность и «8» баллов за развитие критического мышления. Общая оценка проверяемого эссе составила «8» баллов из «10». Чат-ботом были предложены некоторые ре-
комендации по улучшению эссе, направленные на исправление допущенных ошибок, замену лексических единиц в соответствии со стилем академического письма, а также предложения добавить статистическую информацию и ссылки на подтверждающую ее источники.
При повторном обращении к чат-боту были указаны критерии оценки, обозначенные в табл. 2. Промтом выступило следующее предложение: «Проверь эссе в соответствии с критериями: а) структура письменного текста; б) соответствие основной тематике; в) когерентность; г) релевантность; д) грамматическая корректность; е) лексическая корректность; ж) этика письма и стилистическая корректность и поставь общую оценку по пятибалльной шкале». Полученные результаты, представленные в табл. 3, свидетельствуют о том, что чат-бот Mistral AI предоставляет вполне адекватную оце-
ночную обратную связь, позволяя проводить контроль определенных учебных задач, например, при развитии иноязычных письменных умений при условии формулирования методически верного промта [12].
Выступая универсальным инструментом ИИ чат-бот Mistral AI наравне с другими чат-ботами ChatGPT, GigaChat, YandexGPT может использоваться в преподавании иностранного языка с целью проведения автоматизированного тематического контроля: создания тестов и проверки результатов, анализа и коррекции письменных работ при развитии речевых и языковых навыков обучающихся [10]. Использование чат-ботов позволяет во внеаудиторное время организовывать поэтапную методику обучения по взаимодействию с ИИ-технологиями и на основе оценочной обратной связи улучшать учебные результаты[13].
Таблица 2
Критериальное оценивание иноязычных письменных умений с помощью технологий искусственного интеллекта
Table 2
Criteria-based assessment of foreign language writing skills using artificial intelligence technologies
Критерий оценки Показатели оценки Mistral Twee DeepL Яндекс.Переводчик
Структура письменного текста Наличие четкой структуры эссе: введение, основная часть, заключение, общее количество слов + - - -
Соответствие основной теме Текст эссе соответствует заданной теме, предоставленные аргументы и идеи связаны одной тематикой + - - -
Когерентность Наличие логической связанности между предложениями и абзацами эссе + - - -
Релевантность Предоставленные примеры и аргументы являются актуальными + - - -
Грамматическая корректность Отсутствие грамматических ошибок + - + +
Лексическая корректность Отсутствие лексических ошибок, соответствие лексики общему контексту эссе + - + +
Этика письма и стилистическая корректность Отсутствие стилистических ошибок, соблюдение норм этичного письма + - + +
Источник: составлено автором. Source: constructed by the author.
Нейросеть Twee, несмотря на богатый дидактический потенциал в обучении иностранному языку в плане генерации учебного материала и коммуникативных упражнений, имеет довольно ограниченный функционал по предоставлению оценочной обратной связи. В частности, с помощью нейросети Twee не предоставляется возможным проверить и оценить ее средствами готовое эссе. Однако платформа предоставляет возможность создания аргументационного эссе и учитывает такие критерии, как соответствие вокабуляра (через указание ключевых слов), уровень владения иностранным языком, жанр письма и количество слов (рис. 1).
Из доступных функций нейросеть Twee предлагает сократить эссе или наоборот дополнить его, используя новую лексику или грамматические конструкции, а также соз-
дать на его основе ряд коммуникативных упражнений, направленных на развитие умений чтения и говорения, создать тестовые задания и проверить сформированные навыки [14]. Ввиду этого необходимо отметить, что нейросеть Twee предоставляет методическую обратную связь, позволяя создавать план и тематическое содержание занятия по иностранному языку, создавать тренировочные упражнения и предоставлять ответы к ним [10]. Преимущество нейросети Twee заключается в том, что она предоставляет готовый фрагмент занятия, который практически не требуется дорабатывать и возможно сразу же использовать в учебных целях. Однако для получения оценочной обратной связи нейросеть используется только при составлении и проверке тестовых заданий.
Таблица 3
Критериальное оценивание эссе с помощью чат-бота Mistral AI
Table 3
Criterion assessment of an essay using Mistral AI chatbot
Критерий оценки Оценка по пятибалльной шкале Комментарии
Структура письменного текста 4 Текст имеет четкую структуру с введением, основной частью и заключением, но переходы между ними могут быть улучшены
Соответствие основной теме 5 Эссе полностью соответствует заданной теме, все аргументы и примеры отвечают основной идее
Когерентность 4 Идеи и аргументы логически связаны, но переходы между ними могут быть улучшены
Релевантность 5 Примеры и аргументы актуальны, уместны, отвечают основной идее эссе
Грамматическая корректность 3 В тексте есть несколько орфографических ошибок, например: "automatic" вместо "automate", "gramar" вместо "grammar", "dedikate" вместо "dedicate", а также использованы неправильные видовременные формы глаголов "Present Progressive Tense" вместо "Present Perfect Tense"
Лексическая корректность 4 В тексте присутствуют несколько неточностей в использовании слов и выражений, например: "personalised" вместо "personalized"
Этика письма и стилистическая корректность 5 Эссе соответствует нормам академической прозрачности, выбранный стиль и тон соответствуют общей теме
Общая оценка 4,3 Необходимо исправить грамматические и лексические ошибки
Источник: составлено автором. Source: constructed by the author.
Рис. 1. Создание аргументационного эссе с помощью нейросети Twee Fig. 1. Creating an argumentative essay using Twee neural network
Источник: скриншот сделан М.Н. Евстигнеевым на сайте нейросети Twee. https://twee.com/ Source: Screenshot is taken by M.N. Evstigneev Twee neural network website. https://twee.com/
Из наиболее доступных ИИ-технологий с целью проверки качества оценочной обратной связи были использованы современные онлайн-переводчики БеерЬ и Яндекс.Пе-реводчик. Для реализации основной цели исследования мы использовали сервис редактора Яндекс.Переводчика, который позволяет улучшать письменный текст и исправлять лексико-грамматические ошибки (рис. 2). Яндекс.Переводчик также имеет возможность изменять стиль письменного текста на разговорный (доступная лексика) и формальный (официально-деловой стиль). Ввиду этого данный сервис позволяет оцени-
вать письменный текст только по трем критериям из обозначенных в табл. 2: грамматическая корректность, лексическая корректность, этика письма и стилистическая корректность.
В отличие от Яндекс.Переводчика сервис БеерЬ имеет более продвинутый функционал, поскольку предоставляет более расширенные настройки при работе с письменным текстом (рис. 3). Например, сервис БеерЬ предлагает возможность переписать эссе в зависимости от заданного стиля текста. На выбор предоставлены четыре возможных стиля: простой (доступный для
Исправить ошибки
X
Artificial Intelligence (Al)is revolutionizing the way foreign languages are taught, offering numerous benefits that enhance the learning experience. One of the most significant advantages of Al in language education is its ability to provide personalized learning. Al-powered systems can adapt to the individual needs and learning styles of students, offering tailored lessons and exercises that cater to their specific strengths and weaknesses. This personalization not only makes learning more effective but also more engaging, as students are more likely to stay motivated when the material is relevant to their abilities and interests.
Искусственный интеллект (ИИ) революционизирует методы преподавания иностранных языков, предлагая множество преимуществ, которые улучшают процесс обучения. Одним из наиболее значимых преимуществ ИИ в языковом образовании является его способность обеспечивать индивидуальное обучение. Системы на базе искусственного интеллекта могут адаптироваться к индивидуальным потребностям и стилю обучения учащихся, предлагая индивидуальные уроки и упражнения, учитывающие их сильные и слабые стороны.
Текст преобразован с помощью нейросети YandexGPT Подробнее
Artificial Intelligence (Al) has revolutionized the way foreign languages are taught, providing numerous benefits that improve the learning experience, One of the most significant advantages of Al in language education is its ability to offer personalized learning experiences. Al-powered systems adapt to the individual needs and learning styles of students, providing tailored lessons and exercises that cater to their strengths and weaknesses. Personalization makes learning more effective and engaging, as students stay motivated when materials are relevant to their abilities and interests.
Искусственный интеллект (ИИ) произвел революцию в преподавании иностранных языков, предоставив множество преимуществ, которые улучшают процесс обучения. Одним из наиболее значимых преимуществ ИИ вязыковом образовании является его способность предлагать персонализированный опыт обучения. Системы на базе искусственного интеллекта адаптируются к индивидуальным потребностям и стилю обучения учащихся, предоставляя индивидуальные уроки и упражнения, учитывающие их сильные и слабые стороны. Персонализация дел ает обучение
Как вам результат? ¿7 ÇD
Другой вариант
Слое 94 С имволов: 642
Рис. 2. Использование сервиса редактора Яндекс.Переводчик для получения оценочной обратной связи Fig. 2. Using the Yandex.Translate editor's service to receive evaluative feedback
Источник: скриншот сделан М.Н. Евстигнеевым на сайте веб-службы Яндекса. https://translate.yandex.ru/ Source: screenshot is taken by M.N. Evstigneev on Yandex web services website. https://translate.yandex.ru/
Улучшайте тексты с DeepL Write
английский (британский) V ^ Стиль v Î
Artificial Intelligence (Al) is revolutionizing the way foreign languages are taught, offering numerous benefits that enhance the learning experience. One of the most significant advantages of Al in language education is its ability to provide personalized learning. Al-powered systems can adapt to the individual needs and learning styles of students, offering tailored lessons and exercises that cater to their specific strengths and weaknesses. This personalization not only makes learning more effective but also more engaging, as students are more likely to stay motivated when the material is relevant to their abilities and interests.
Artificial Intelligence — It seems fair to suggest that artificial intelligence (Al) is revolutionizing -» having a transformative impact on the way foreign languages are taught, offering numerous -» a range of benefits that have the potential to enhance the learning experience. One of the most significant advantages of Al in language education is its ability to provide personalized — personalised learning. Al-powered systems carr -> have the potential to adapt to the individual needs and learning styles of students, offering tailored lessons and exercises that cater to their specific strengths and weaknesses. This personalization not only makes — personalisation could make learning more effective but also more -» and engaging, as students tmr -» may be more likely to stay motivated when the material is relevant to their abilities and interests.
ь &
â> «? Ж Q
Рис. 3. Использование сервиса DeepL для получения оценочной обратной связи Fig. 3. Using DeepL service to receive evaluative feedback
Источник: скриншот сделан М.Н. Евстигнеевым на сайте сервиса DeepL. https://www.deepl.com/ Source: screenshot is taken by M.N. Evstigneev on DeepL service website. https://www.deepl.com/
широкой аудитории), деловой (для создания деловой переписки, презентаций и отчетов), академическое письмо (для научных работ), разговорный (для неформального общения). Особое внимание привлекает изменение тональности письменного текста от воодушевленной до дипломатической. Причем изменения в тексте касаются исключительно лек-сико-грамматических и стилистических замен, при этом смысл письменного текста остается неизменным. Получаемая оценочная обратная связь от DeepL также удовлетворяет только трем критериям, как и Яндекс.Пе-реводчик, но имеет возможность показывать все изменения текста в режиме реального времени, что позволяет сопоставлять и сравнивать изменения сразу в двух языковых стилях.
Применение ИИ-технологий с целью получения оценочной обратной связи ориентированно преимущественно на обучающихся и позволяет им получать доступ к персонализированному образованию на протяжении всей жизни [15]. Сравнивая между собой организацию тематического контроля и критериального оценивания, проводимого обычным педагогом и с помощью автоматизированных систем, наблюдается очевидный сдвиг в сторону новых технологий [16]. Развитие систем автоматизированного контроля учебных достижений обучающихся в сети Интернет положило начало глобального перехода от ручного оценивания к созданию тестовых заданий на платформах Google Forms и Quizizz и получения мгновенной обратной связи с правильными ответами. Современные ИИ-технологии позволяют анализировать данные об академическом прогрессе обучающихся и предоставлять детализированные отчеты, позволяющие выявлять слабые стороны и корректировать учебную деятельность [17]. При этом некоторые авторы отмечают, что чрезмерное использование ИИ-технологий в образовании влечет за собой негативное влияние как и на педагога, так и на обучающихся [18], в том числе оставляя неразрешенными вопросы относи-
тельно этичности использования технологий и признания авторства [19].
ВЫВОДЫ
Проведенное исследование позволило сформулировать выводы о применимости ИИ-технологий для проведения тематического контроля и критериального оценивания учебных достижений обучающихся. Во-первых, на современном этапе чат-боты (ChatGPT, Mistral AI, YandexGPT) способны предоставлять относительно качественную оценочную обратную связь для контроля иноязычных письменных умений, работать с обозначенными критериями оценки, давать рекомендации, проводить оценку учебных достижений в соответствии с пятибалльной или десятибалльной шкалой. Во-вторых, нейросеть Twee не предоставляет оценочную обратную связь и может использоваться исключительно для предоставления методической обратной связи. В-третьих, наиболее доступные сервисы Яндекс.Переводчик и DeepL предлагают ограниченный функционал по оценочной обратной связи, но имеют возможности проверки правописания и коррекции лексико-грамматических и стилистических ошибок в письменных работах.
Для проведения оценивания учебных результатов с помощью технологий искусственного интеллекта были использованы следующие критерии оценивания умений письменной речи: а) структура письменного текста; б) соответствие основной тематике; в) когерентность; г) релевантность; д) грамматическая корректность; е) лексическая корректность; ж) этика письма и стилистическая корректность.
Технологии искусственного интеллекта на современном этапе обладают высокой степенью адаптивности и включают широкий спектр программно-аппаратных решений, позволяющих осуществлять такие важные педагогические процедуры, как контроль учебных достижений и оценивание в соответствии с заданными пользователями критериями
оценки [20; 21]. Полученные результаты предлагается использовать в исследованиях, посвященных изучению современных мето-
дов контроля учебных достижений в методике обучения иностранным языкам с помощью технологий искусственного интеллекта.
Список источников
1. Роберт И.В. Цифровая трансформация образования: ценностные ориентиры, перспективы развития // Россия: тенденции и перспективы развития: материалы 20 Национ. науч. конф. с междунар. участием. М.: Ин-т науч. информ. по обществ. наукам РАН, 2021. Вып. 16. Ч. 1. С. 868-876. https ://elibrary.ru/zjj sen
2. Евстигнеев М.Н., Сысоев П.В., Евстигнеева И.А. Компетенция педагога иностранных языков в области искусственного интеллекта // Иностранные языки в школе. 2024. № 3. С. 90-96. https://elibrary.ru/auprsp
3. Евстигнеев М.Н. Планирование учебного занятия по иностранному языку с помощью технологий генеративного искусственного интеллекта // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 3. С. 617-634. https://doi.org/10.20310/1810-0201-2024-29-3-617-634, https://elibrary.ru/ahylwe
4. Коренев А.А. Использование технологий искусственного интеллекта в оценивании и тестировании при обучении иностранному языку // Иностранные языки в школе. 2024. № 5. С. 31-36. https://elibrary.ru/buhnkp
5. Титова С.В., Темурян К.Т. Интеллектуальная система обучения иностранным языкам: типы, структура, принципы проектирования // Иностранные языки в школе. 2024. № 3. С. 25-32. https://elibrary.ru/svcmqy
6. Авраменко А.П., Ахмедова А.С., Буланова Е.Р. Технология чат-ботов как средство формирования иноязычной грамматической компетенции при самостоятельном обучении // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 386-394. https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
7. Лобеева П.И. Дидактический потенциал использования чат-ботов при изучении фразовых глаголов английского языка // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 6. С. 1467-1476. https://doi.org/10.20310/1810-0201-2023-28-6-1467-1476, https://elibrary.ru/fmyeoc
8. Клочихин В.В. Корпусные технологии искусственного интеллекта в обучении сочетаемости слов и исследовательской работе // Иностранные языки в школе. 2024. № 3. С. 39-46. https://elibrary.ru/jiylhf
9. Сысоев П.В., Филатов Е.М. Методика обучения учащихся и студентов написанию эссе в триаде «обучающийся - преподаватель - искусственный интеллект» // Вестник Московского университета. Серия 19: Лингвистика и межкультурная коммуникация. 2024. № 2. С. 38-54. https://doi.org/10.55959/MSU-2074-1588-19-27-2-3, https://elibrary.ru/ivcgto
10. Сысоев П.В., Филатов Е.М., Евстигнеев М.Н., Поляков О.Г., Евстигнеева И.А., Сорокин Д.О. Матрица инструментов искусственного интеллекта в лингвометодической подготовке будущих учителей иностранного языка // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 3. С. 559-588. https://doi.org/10.20310/1810-0201-2024-29-3-559-588, https://elibrary.ru/jazkme
11. Колесников А.А., Габеева К.А., Конобеев А.В. Система оценки достижений планируемых предметных результатов освоения учебного предмета «Иностранный язык»: метод. рекомендации. М.: Ин-т стратегии развития образования, 2023. 56 с. https://elibrary.ru/kwilar
12. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Обратная связь в обучении иностранному языку: от информационных технологий к искусственному интеллекту // Язык и культура. 2024. № 65. С. 242-261. https://doi.org/10.17223/19996195/65/11, https://elibrary.ru/plzyov
13. Сысоев П.В., Филатов Е.М., Хмаренко Н.И., Мурунов С.С. Преподаватель vs искусственный интеллект: сравнение качества предоставляемой преподавателем и генеративным искусственным интеллектом обратной связи при оценке письменных творческих работ студентов // Перспективы науки и образования. 2024. № 5 (71).
14. Евстигнеев М.Н. Нейросеть Twee - новый инструментарий для педагога английского языка // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 6. С. 1428-1442. https://doi.org/10.20310/1810-0201-2023-28-6-1428-1442, https://elibrary.ru/hwajhp
15. Seldon A., Abidoye O. The Fourth Education Revolution: Will Artificial Intelligence Liberate or Infantilise Humanity. Buckingham: University of Buckingham Press, 2018. 370 p.
16. Wiser M.J., Mead L., Smith J.J., Pennock R. T. Comparing human and automated evaluation of open-ended student responses to questions of evolution // Artificial Life XV: Proceedings of the Fifteenth International Conference on Artificial Life. Cambridge (MA): MIT Press, 2016. P. 116-122. https://doi.org/10.7551/978-0-262-33936-0-ch025
17. Luckin R. Towards artificial intelligence-based assessment systems // Nature Human Behaviour. 2017. Vol. 1. № 3. Article 0028. https://doi.org/10.1038/s41562-016-0028
18. Holmes W., BialikM., Fadel C. Artificial Intelligence in Education Promises and Implications for Teaching and Learning. Boston: Center for Curriculum Redesign, 2019. 242 p.
19. Сысоев П.В. Авторская этика и ИИ-плагиат: пути решения проблемы нарушения обучающимися правил авторской этики при взаимодействии с инструментами искусственного интеллекта // Иностранные языки в школе. 2024. № 3. С. 84-89. https://elibrary.ru/joklxd
20. Евстигнеев М.Н. Принципы обучения иностранному языку на основе технологий искусственного интеллекта // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 2. С. 309-323. https://doi.org/10.20310/1810-0201-2024-29-2-309-323, https://elibrary.ru/ygipmo
21. Сысоев П.В., Поляков О.Г., Евстигнеев М.Н. и др. Обучение иностранному языку на основе технологий искусственного интеллекта / под науч. ред. П.В. Сысоева. Тамбов: Изд. дом «Державинский», 2023. 132 с. https://elibrary.ru/xldywn
References
1. Robert I.V. (2021). Tsifrovaya transformatsiya obrazovaniya: tsennostnye orientiry, perspektivy razvitiya. Materialy 20 Natsional'noi nauchnoi konferentsii s mezhdunarodnym uchastiem «Rossiya: tendentsii i perspektivy razvitiya». Moscow, Institute for Scientific Information on Social Sciences Publ., issue 16, pt 1, pp. 868-876. (In Russ.) https://elibrary.ru/zjjsen
2. Evstigneev M.N., Sysoyev P.V., Evstigneeva I.A. (2024). The competence of a foreign language teacher in the field of artificial intelligence. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 9096. (In Russ.) https://elibrary.ru/auprsp
3. Evstigneev M.N. (2024). Planning a foreign language lesson using generative artificial intelligence technologies. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 3, pp. 617-634. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-3-617-634, https://elibrary.ru/ahylwe
4. Korenev A.A. (2024). Using artificial intelligence technologies for assessment and testing in language education. Inostrannye yazyki v shkole = Foreign Languages at School, no. 5, pp. 31-36. (In Russ.) https://elibrary.ru/buhnkp
5. Titova S.V., Temuryan K.T. (2024). Intelligent learning system for language teaching: types, structure, design. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 25-32. (In Russ.) https://elibrary.ru/svcmqy
6. Avramenko A.P., Akhmedova A.S., Bulanova E.R. (2023). Chatbot technology as a means of forming foreign language grammatical competence in self-study. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 386-394. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
7. Lobeeva P.I. (2023). The didactic potential of using chatbots in teaching and learning English phrasal verbs. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 6, pp. 1467-1476. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-6-1467-1476, https://elibrary.ru/fmyeoc
8. Klochikhin V.V. (2024). Application of AI-based corpora in identifying language patterns and students' research. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 39-46. (In Russ.) https://elibrary.ru/jfylhf
9. Sysoyev P.V., Filatov E.M. (2024). Cognitive-matrix analysis as a tool for exploring cultural identity of a fiction author. Vestnik Moskovskogo universiteta. Seriya 19: Lingvistika i mezhkul'turnaya kommunikatsiya = Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 2, pp. 38-54. (In Russ.) https://doi.org/10.55959/MSU-2074-1588-19-27-2-3, https://elibrary.ru/ivcgto
10. Sysoyev P.V., Filatov E.M., Evstigneev M.N., Polyakov O.G., Evstigneeva I.A., Sorokin D.O. (2024). A matrix of artificial intelligence tools in pre-service foreign language teacher training. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 3, pp. 559-588. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-3-559-588, https://elibrary.ru/jazkme
11. Kolesnikov A.A., Gabeeva K.A., Konobeev A.V. (2023). Sistema otsenki dostizhenii planiruemykh predmetnykh rezul'tatov osvoeniya uchebnogo predmeta «Inostrannyi yazyk»: metodicheskie rekomendatsii. Moscow, Institut strategii razvitiya obrazovaniya Publ., 56 p. (In Russ.) https://elibrary.ru/kwflar
12. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2024). Feedback in foreign language teaching: from information technologies to artificial intelligence. Yazyk i kul'tura = Language and Culture, no. 65, pp. 242-261. (In Russ.) https://doi.org/10.17223/19996195/65/11, https://elibrary.ru/plzyov
13. Sysoyev P.V., Filatov E.M., Khmarenko N.I., Murunov S.S. (2024). Prepodavatel' vs iskusstvennyi intellekt: sravnenie kachestva predostavlyaemoi prepodavatelem i generativnym iskusstvennym intellektom obratnoi svyazi pri otsenke pis'mennykh tvorcheskikh rabot studentov. Perspektivy nauki i obrazovaniya = Perspectives of Science and Education, no. 5 (71). (In Russ.)
14. Evstigneev M.N. (2023). Twee neural network as a new tool for English language teacher. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 6, pp. 1428-1442. (In Russ.) ' https://doi.org/10.20310/1810-0201-2023-28-6-1428-1442, https ://elibrary.ru/hwaj hp
15. Seldon A., Abidoye O. (2018). The Fourth Education Revolution: Will Artificial Intelligence Liberate or Infantilise Humanity. Buckingham, University of Buckingham Press, 370 p.
16. Wiser M.J., Mead L., Smith J.J., Pennock R.T. (2016). Comparing human and automated evaluation of open-ended student responses to questions of evolution. Artificial Life XV: Proceedings of the Fifteenth International Conference on Artificial Life. Cambridge (MA), MIT Press, pp. 116-122. https://doi.org/10.7551/978-0-262-33936-0-ch025
17. Luckin R. (2017). Towards artificial intelligence-based assessment systems. Nature Human Behaviour, vol. 1, no. 3, article 0028. https://doi.org/10.1038/s41562-016-0028
18. Holmes W., Bialik M., Fadel C. (2019). Artificial Intelligence in Education Promises and Implications for Teaching and Learning. Boston, Center for Curriculum Redesign Publ., 242 p.
19. Sysoyev P.V. (2024). Author's ethics and AI plagiarism: ways to solve the problem of students violating the rules of author's ethics when interacting with artificial intelligence tools. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 84-89. (In Russ.) https://elibrary.ru/joklxd
20. Evstigneev M.N. (2024). Principles of foreign language teaching based on artificial intelligence technologies. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 2, pp. 309-323. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-2-309-323, https ://elibrary.ru/ygipmo
21. Sysoyev P.V., Polyakov O.G., Evstigneev M.N., Evstigneeva I.A., Prokhorov A.V., Klochikhin V.V., Filatov E.M., Sorokin. D.O. (2023). Obuchenie inostrannomu yazyku na osnove tekhnologii iskusstvennogo intellekta. Tambov, Publishing House "Derzhavinsky", 132 p. (In Russ.) https://elibrary.ru/xldywn
Информация об авторе
Information about the author
Евстигнеев Максим Николаевич, кандидат педагогических наук, доцент кафедры лингвистики и лингводидактики, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация.
Maxim N. Evstigneev, Cand. Sci. (Education), Associate Professor of Linguistics and Linguodidactics Department, Derzhavin Tambov State University, Tambov, Russian Federation.
https://orcid.org/0000-0003-2664-9134 Scopus ID: 57206855992 ResearcherlD: AAE-8965-2022 [email protected]
https://orcid.org/0000-0003-2664-9134 Scopus ID: 57206855992 ResearcherlD: AAE-8965-2022 [email protected]
Поступила в редакцию 06.06.2024 Одобрена после рецензирования 29.08.2024 Принята к публикации 12.09.2024
Received 06.06.2024 Approved 29.08.2024 Accepted 12.09.2024
