CC BY
10
Вестник Тамбовского университета. Серия: Гуманитарные науки Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review. Series: Humanities
ISSN 1810-0201 (Print), ISSN 2782-5825 (Online) https://ve stsutmb .elpub.ru
Научная статья УДК 372.881.111.1
https://doi.org/10.20310/1810-0201 -2024-29-2-378-3 89
Использование системы автоматизированной оценки Criterion в обучении студентов языковых специальностей написанию эссе на иностранном языке: результаты экспериментальной проверки
Анна Алексеевна ПРИБЫТКОВА1 Татьяна Юрьевна ТОРМЫШОВА2 ,
Олег Николаевич ХАУСТОВ2
1ФГБОУ ВО «Липецкий государственный педагогический университет им. П.П. Семенова-Тян-Шанского» 398020, Российская Федерация, г. Липецк, ул. Ленина, 42 2ФГБОУ ВО «Липецкий государственный технический университет» 398042, Российская Федерация, г. Липецк, ул. Московская, 30 *Адрес для переписки: [email protected]
Актуальность. Современные инструменты искусственного интеллекта (ИИ) способны взять на себя некоторые функции преподавателя иностранного языка, тем самым оптимизировать процесс обучения. Одной из таких является функция преподавателя по проверке и оценке письменных работ (эссе) студентов. В научной литературе имеются работы, описывающие поэтапные методики обучения студентов написанию эссе на иностранном языке, включающие индивидуальную внеаудиторную практику обучающихся с инструментом ИИ в ходе доработки черновой версии эссе. На основе получения от инструмента ИИ оценочной обратной связи студенты могут доработать свои эссе в языковом, структурном и содержательном аспектах. Система автоматизированной оценки письменных работ Criterion является одним из современных инструментов ИИ, который можно использовать в обучении. Однако проверка эффективности данной системы не выступала предметом отдельного исследования. Цель исследования - уточнить этапы обучения студентов языковых специальностей написанию эссе на иностранном языке с использованием оценочной обратной связи от системы автоматизированной оценки Criterion и проверить эффективность данной методики в ходе экспериментального обучения.
Материалы и методы. Участниками исследования выступили студенты 2 курса специальности 45.05.01 «Перевод и переводоведение» ФГБОУ ВО «Липецкий государственный технический университет» (КГ = 25 и ЭГ = 25). Студенты КГ обучались по традиционной методики обучения эссе, исключающей использование инструментов ИИ, а участники ЭК - по инновационной методике, включающей индивидуальную внеаудиторную практику студентов с системой Criterion с целью получения оценочной обратной связи для доработки эссе. В качестве аспектов контроля выступали: а) лексическая сторона письменной речи; б) грамматическая сторона письменной речи; в) организационная структура работы; г) содержание работы.
378
© Прибыткова А.А., Тормышова Т.Ю., Хаустов О.Н., 2024
Результаты исследования. Доказано, что инновационная методика обучения студентов написанию эссе, основанная на интеграции системы автоматизированной оценки эссе Criterion в процесс обучения, является более эффективной по сравнению с традиционной методикой в овладении студентами а) организационной структурой эссе (t = 2,82 при p = = 0,004) и б) содержательной стороной творческой работы (t = 3,05 при p = 0,002). Однако статистический анализ результатов не подтвердил преимущество инновационной методики в формировании лексических (t = 1,44 при p = 0,08) и грамматических (t = 1,36 при p = 0,09) навыков речи студентов языкового вуза.
Выводы. Новизна исследования состоит в разработке этапов обучения студентов написанию эссе на основе практики с системой автоматизированного контроля Criterion с целью получения оценочной обратной связи для доработки эссе. Полученные результаты могут использоваться в методике обучения учащихся средних школ и студентов вузов в обучении письменной речи.
Ключевые слова: искусственный интеллект, автоматизированный контроль, обучение письменной речи, Criterion
Для цитирования: Прибыткова А.А., Тормышова Т.Ю., Хаустов О.Н. Использование системы автоматизированной оценки Criterion в обучении студентов языковых специальностей написанию эссе на иностранном языке: результаты экспериментальной проверки // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 2. С. 378-389. https://doi.org/10.20310/1810-0201 -2024-29-2-378-3 89
Original article
https://doi.org/10.20310/1810-0201 -2024-29-2-378-3 89
The use of the Criterion automated assessment system in teaching students of language specialties to write essays in a foreign language: the results of an experimental test
Anna A. PRIBYTKOVA1 *, Tatyana Yu. TORMYSHOVA2 , Oleg N. KHAUSTOV2
1Lipetsk State Pedagogical P. Semenov-Tyan-Shansky University 42 Lenin St., Lipetsk, 398020, Russian Federation 2Lipetsk State Technical University 30 Moskovskaya St., Lipetsk, 398055, Russian Federation Corresponding author: [email protected]
Importance. Modern artificial intelligence (AI) tools are able to take on some of a foreign language teacher's functions, thereby optimizing the learning proce ss. One of these is the teacher's function of checking and evaluating students' written papers (essays). There are works in the scientific literature describing step-by-step methods of teaching students to write essays in a foreign language, including individual extracurricular practice of students with an AI tool during the completion of the essay's draft version. Based on receiving evaluative feedback from the AI tool, students can refine their essays in linguistic, structural and substantive aspects. The Criterion automated assessment system for written papers is one of the modern AI tools that can be used in teaching. However, checking the effectiveness of this system is not the subject of a separate study. The purpose of the study is to clarify the stages of teaching students of language specialties to write essays in a foreign language using evaluative feedback from the Criterion automated assessment system and to test the effectiveness of this technique during experimental training.
Materials and Methods. The study participants are 2nd year students of the specialty 45.05.01 "Translation and Translation Studies" of the Lipetsk State Technical University (control group = 25 and experimental group = 25). The students of the control group studied according to the traditional essay teaching methodology, excluding the use of AI tools, and the experimental group participants studied according to an innovative methodology, including individual extracurricular practice of students with the Criterion system in order to receive evaluative feedback for the completion of the essay. The following aspects of control are: a) the lexical side of written speech; b) the grammatical side of written speech; c) the organizational structure of the work; d) the content of the work.
Results and Discussion. It is proved that the innovative method of teaching students to write essays, based on the integration of the Criterion automated essay assessment system into the learning process, is more effective than the traditional method in mastering students a) the organizational structure of the essay (t = 2.82 at p = 0.004) and b) the content side of creative work (t = 3.05 at p = 0.002). However, statistical analysis of the results do not confirm the advantage of the innovative technique in the formation of lexical (t = 1.44 at p = 0.08) and grammatical (t = 1.36 at p = 0.09) speech skills of students of a language university.
Conclusion. The novelty of the research consists in developing the stages of teaching students to write an essay based on practice with the Criterion automated control system in order to receive evaluative feedback for the completion of the essay. The results obtained can be used in the methodology of teaching secondary school students and university students in teaching writing.
Keywords: artificial intelligence, automated control, writing training, Criterion For citation: Pribytkova, A.A., Tormyshova, T.Yu., & Khaustov, O.N. (2024). The use of the Criterion automated assessment system in teaching students of language specialties to write essays in a foreign language: the results of an experimental test. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review. Series: Humanities, vol. 29, no. 2, pp. 378389. (In Russ., abstract in Eng.) https://doi.org/10.20310/1810-0201-2024-29-2-378-389
АКТУАЛЬНОСТЬ
Период 2022-2023 гг. характеризуется бурным ростом методических исследований, посвященных использованию технологий искусственного интеллекта (ИИ) в обучении иностранному языку. Как утверждает П.В. Сысоев [1; 2], технологии искусственного интеллекта и инструменты, функционирующие на их основе, способны значительно изменить традиционный процесс обучения иностранному языку. Инструменты ИИ могут взять на себя многие рутинные функции учителя или преподавателя иностранного языка, связанные с проверкой выполнения обучающимися домашнего задания, проведением и проверкой тестовых заданий, проверкой письменных творческих работ, разработкой некоторых учебных и методических материалов и т. п. Для обучающихся использование инструментов ИИ создает дополнительные возможности для организации внеаудиторной иноязычной речевой практики.
Многие ученые в своих исследованиях раскрывали методический потенциал использования чат-ботов и голосовых помощников в развитии устно-речевых и письменно-речевых иноязычных умений [3-6]. Внедрение инструментов ИИ в процесс обучения иностранному языку позволит вывести учебный процесс на качественно новый уровень подготовки обучающихся. Особую актуальность использование инструментов ИИ приобретает при обучении учащихся и студентов творческому письму на иностранном языке. Развитие умений написания различных видов эссе (описательного, аргументативного, кон-трастивно-сопоставительного) включено в программные требования по иностранному языку на старшей ступени основного общего образования и требования к освоению основной профессиональной образовательной программы студентами языковых направлений подготовки в вузах. За последние годы появилось несколько работ, в которых учеными рассматривались современные инструменты
ИИ в обучении учащихся и студентов написанию творческих работ на иностранном языке: платформа Grammarly [7-9], платформа PaperRater.com [10], нейросеть ChatGPT [11; 12].
Особую ценность, как утверждают многие исследователи, представляет способность данных инструментов ИИ предоставлять пользователям оценочную обратную связь. В зависимости от заранее установленных критериев инструмент ИИ может предоставлять пользователю оценочную обратную связь в виде комментариев относительно содержания работы, ее структуры, использования средств достижения связности и целостности текста, лексико-грамматического и пунктуационного оформления и содержания работы [13-15]. При этом ученые отмечали, что на современном этапе качество предоставляемой инструментами ИИ оценочной обратной связи ничуть не уступает, а в некоторых случаях лучше, чем обратная связь от преподавателя.
Система автоматизированной оценки письменных творческих работ Criterion является одним из инструментов ИИ, который можно использовать в развитии умений письменной речи обучающихся. В своей работе Т.Ю. Тормышова, Т.Ю. Рязанцева и Н.И. Суханова [16] предложили этапы методики обучения студентов языковых специальностей написанию эссе на иностранном языке на основе платформы Ciriterion. Однако проверка эффективности данного инструмента ИИ не выступала предметом отдельного исследования.
Цель исследования - уточнить этапы обучения студентов языковых специальностей написанию эссе на иностранном языке с использованием оценочной обратной связи от системы автоматизированной оценки Criterion и проверить эффективность данной методики в ходе экспериментального обучения.
МАТЕРИАЛЫ И МЕТОДЫ
Авторская методика использования системы автоматизированной оценки Criterion в обучении студентов языковых специально-
стей написанию эссе на иностранном языке прошла апробацию в ходе опытно-экспериментального обучения во втором семестре 2023 г. Участниками исследования выступили студенты 2 курса специальности 45.05.01 «Перевод и переводоведение» ФГБОУ ВО «Липецкий государственный технический университет» (контрольная группа (КГ) = 25; экспериментальная группа (ЭГ) = 25). Участники КГ обучались по традиционной методике обучения написанию эссе, а участники ЭГ - по авторской методике, включающей внеаудиторное взаимодействие студентов с системой автоматизированной оценки Criterion. При работе использовалась платная версия платформы. В качестве средств обучения студенты КГ и ЭГ использовали учебник по английскому языку: Evans V., Edwards L. Upstream (Advanced C1). Newbury: Express Publishing, 2014.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Инструмент ИИ Criterion является одной из современных систем автоматизированной оценки творческих письменных работ обучающихся. Данная система является разработкой коммерческой корпорации "Education Testing Service" (ETS) (США) и в настоящее время используется этой организацией по проведению стандартизированных тестов, включая тест по английскому языку как иностранному (TOEFL), для проверки письменных заданий теста (Test of Written English). При оценке письменных работ система Criterion использует следующие пять критериев: а) грамматика; б) лексика и словоупотребление; в) стиль; г) организационная структура; д) содержание работы.
Ключевым моментом при разработке методики обучения студентов написанию эссе на иностранном языке на основе инструмента ИИ выступает определение этапов обучения. В табл. 1 представлен обзор исследований, в которых выделены этапы обучения учащихся и студентов написанию творческих работ (эссе) на иностранном языке с использованием оценочной обратной связи от разных инстру-
Таблица 1
Обзор исследований, посвященных разработке этапов обучения учащихся и студентов написанию творческих работ (эссе) на иностранном языке с использованием оценочной обратной связи от инструментов искусственного интеллекта
Table 1
Review of research on the stages development of teaching students and students to write creative works (essays) in a foreign language using evaluative feedback from artificial intelligence tools
Авторы Инструмент искусственного интеллекта Этапы обучения
Т.Ю. Тормышова, Т.Ю. Рязанцева, Н.И. Суханова [16] Criterion - «подготовительный; - написание студентами черновой версии эссе; - получение оценочной обратной связи от системы Criterion; - изучение студентами оценочной обратной связи от системы Criterion и доработка эссе; - обсуждение в классе результатов работы с системой Criterion; - рефлексия студентов работы с системой Criterion; - проверка эссе студентов преподавателем» [16, c. 104-105]
П.В. Сысоев, Е.М. Филатов [12] Нейросеть ChatGPT - «подготовка текста эссе; - целеполагание; - знакомство с ИИ-инструментом; - обсуждение правил соблюдения авторской этики; - взаимодействие с ИИ-инструментом с целью получения оценочной обратной связи; - доработка эссе; - работа в малых группах в классе; - оценка эссе преподавателем» [12, с. 124]
ментов ИИ. Отметим, что работ, в которых описаны отдельно выделенные этапы методики обучения, было выявлено лишь две. Обе из них датированы 2024 годом. Это объясняется началом на современном этапе интереса исследователей к использованию инструментов ИИ в обучении иностранным языкам.
Анализ приведенных алгоритмов обучения позволяет сделать определенные выводы относительно обозначения этапов обучения студентов написанию эссе на иностранном языке на основе использования оценочной обратной связи от инструмента ИИ.
1. Все авторы работ утверждают, что иноязычная практика обучающихся с инструментом ИИ с целью получения обратной связи должна обязательно встраиваться в традиционную методику обучения. При этом результаты этой практики в виде распечаток скрипта учебного взаимодействия должны использоваться в аудиторной учебной работе студентами. Это повысит ответственность
обучающихся за процесс и результат учебной практики с инструментом ИИ.
2. Все авторы отмечают, что взаимодействие с инструментом ИИ с целью получения оценочной обратной связи начинается после того, как в рамках традиционной методики обучения письменной речи на изучаемом языке студенты овладели организационной структурой работы. В этом случае будет реализовываться парадигма триады «обучающийся - искусственный интеллект - педагог» [2].
3. Учитывая один из рисков использования инструментов ИИ в обучении - распространение среди обучающихся плагиата материалов генеративного искусственного интеллекта, - многие авторы рекомендуют включить в методики обучения этап, посвященный обсуждению с обучающимися правил соблюдения авторской этики [17].
4. Учебная практика обучающихся с инструментом ИИ должна происходить во
внеаудиторное время. При этом в рамках обозначенного периода обучающиеся сами принимают решение относительно времени и скорости выполнения учебных заданий, связанных с их взаимодействием с инструментом ИИ.
5. Преподаватель выступает основным организатором учебного процесса, создающим условия для дополнительной языковой практики студентов с инструментом ИИ. На заключительном этапе обучения преподаватель может выборочно проверить финальные версии творческих письменных работ обучающихся.
6. С целью повышения эффективности учебного взаимодействия студентов с инструментом ИИ преподаватель предлагает обучающимся готовые формулировки промптов (запросов) инструменту ИИ. Также преподаватель заранее определяет критерии оценки письменных работ студентов.
Принимая во внимание ключевые моменты организации проектной работы студентов по написанию творческих работ на иностранном языке на основе получения оценочной обратной связи от инструмента ИИ, мы выделяем следующие этапы методики использования системы автоматизированной оценки Criterion в обучении студентов языковых специальностей написанию эссе на иностранном языке.
Этап 1. Обучение студентов структуре конкретного вида эссе. Данный этап является продолжительным по времени и включает большую предварительную работу по обучению студентов написанию эссе на иностранном языке. После того, как студенты сформируют осведомленность в вопросах структуры эссе и особенностей написания структурных компонентов, они смогут перейти ко второму этапу обучения.
Этап 2. Погружение студентов в проектную деятельность с использованием инструмента ИИ для получения оценочной обратной связи относительно черновой версии эссе. Преподаватель объясняет студентам цель учебной практики с инструментом ИИ, этапы обучения, ожидаемый результат на каждом
из этапов. Студенты знакомятся с критериями оценки эссе.
Этап 3. Преподаватель обсуждает со студентами принципы соблюдения правил авторской этики при взаимодействии с инструментами генеративного ИИ, объясняет, какую обратную связь и для каких целей можно использовать при работе с инструментом ИИ.
Этап 4. Студенты знакомятся с платформой автоматизированной оценки творческих письменных работ Criterion. Преподаватель показывает, как загружаются на платформе эссе, предлагает готовый вариант промпта с установленными критериями оценки.
Этап 5. Студенты самостоятельно работают над черновыми версиями эссе на заданные темы.
Этап 6. Студенты загружают черновые версии эссе на платформу Criterion и получают оценочную обратную связь в виде оценки эссе по установленным критериям и рекомендациям Criterion по дообработке эссе.
Этап 7. Студенты изучают обратную связь от платформы Criterion и осознанно вносят изменения и дополнения в свои работы.
Этап 8. Студенты повторно загружают на платформу Criterion доработанные версии эссе. Следует отметить, что студенты могут загружать на платформу Criterion эссе с целью получения рекомендаций по доработке эссе многократно. Мы целенаправленно не ограничиваем обучающихся в количестве запросов к инструменту ИИ. Главное, чтобы на основе получения обратной связи от Criterion студенты реально могли доработать свои эссе и улучшить их качество.
Этап 9. Студенты в аудитории, работая в малых группах, показывают друг другу черновую и финальную версии эссе, а также обсуждают, какие рекомендации системы Criterion они использовали при доработке эссе и почему.
Этап 10. Преподаватель выборочно или у всей группы оценивает финальные версии эссе.
Опытно-экспериментальное обучение проходило в три этапа. На констатирующем
этапе участникам КГ и ЭГ было дано задание написать в аудитории эссе по теме. Оценка эссе проводилась по четырем критериям:
а) лексическая сторона письменной речи;
б) грамматическая сторона письменной речи;
в) организационная структура работы; г) содержание работы. На формирующем этапе студенты КГ и ЭГ обучались написанию эссе. Предметно-тематическое содержание обучения представлено в табл. 2. Участники КГ обучались по традиционной методике, включающей аудиторную и внеаудиторную работу без взаимодействия с какими-либо инструментами ИИ. Студенты ЭГ обучались по инновационной методике, включающей внеаудиторную индивидуальную практику обучающихся с системой автоматизированной оценки Criterion при подготовке черновой версии эссе. На формирующем этапе студентам КГ и ЭГ было дано задание, подобное заданию на констатирующем этапе -написать эссе по теме.
Результаты контрольного и экспериментального срезов в двух группах обучающихся
были обработаны с помощью ПО SPSS Statistics. Методом статистического анализа выступал t-критерий Стьюдента, позволяющий выявить наличие или отсутствие статистической значимости в различиях между двумя выборками (в КГ и ЭГ до, после эксперимента и между собой до и после эксперимента). Результаты статистического анализа данных изложены в табл. 3-5.
Материалы табл. 3 подтверждают, что непосредственно до начала участия студентов КГ и ЭГ в опытно-экспериментальной работе их уровень владения иностранным языком в отношении способности написания эссе был равным. Анализ данных не выявил статистической значимости в различиях между группами. По всем контролируемым в рамках исследования аспектам p > 0,05.
В ходе обучения длительностью в один академический семестр студенты обеих групп, принимавших участие в опытно-экспериментальной работе, смогли улучшить свои показатели по четырем контролируемым в ходе исследования аспектам (табл. 4).
Таблица 2
Тематическое содержание обучения и примерная тематика эссе обучающихся КГ и ЭГ
Table 2
The thematic content of the training and the approximate subject of the essays of students of СG and EG
Период Наименование темы Примеры тем эссе студентов
Сентябрь 2023 Career success 1. "Success usually comes to those who are too busy to be looking for it." (Henry David Thoreau, American poet and philosopher) 2. "You always pass failure on the way to success." (Mickey Rooney, American comedian)
Октябрь 2023 Crime and the Law; Social issues 1. "Crime and bad lives are the measure of a state's failures." (H.G.Well, British novelist) 2. "Kindness and justice are not synonymous. Be kind. And advocate and work for justice. Lives depend on it." (Bernice King, a lawyer, minister)
Ноябрь 2023 Science and technology 1. "If we continue to develop our technology without wisdom or prudence, our servant may prove to be our executioner." (Omar Bradley, U.S. Army General) 2. "Change is not made without inconvenience, even from worse to better." (Richard Hooker, British theologian)
Декабрь 2023 Fit for life 1. "Health is a blessing that money cannot buy." (Izaak Walton, English writer) 2. "If I'd known I was going to live this long, I'd have taken better care of myself." (Eubie Blake, American pianist and composer)
Результаты контрольного среза The results of the control section
Таблица 3 Table 3
Аспект контроля КГ Среднее ( х) ЭГ Среднее (х) /-критерий p-значение
Лексическая сторона письменной речи 4,08 4,04 0,56 0,28*
Грамматическая сторона письменной речи 4,28 4,2 1 0,16*
Организационная структура работы 3,88 3,92 1 0,16*
Содержание работы 4,24 4,16 1,44 0,08*
Примечание: * -p > 0,05.
Таблица 4
Сопоставление результатов контрольного и экспериментального срезов в каждой из групп
Table 4
The results comparison of the control and experimental sections in each of the groups
Аспект контроля КГ ЭГ
/-критерий p-значение /-критерий p-значение
Лексическая сторона письменной речи 2,14 0,02** 2,58 0,008**
Грамматическая сторона письменной речи 1,14 0,13* 3,36 0,001**
Организационная структура работы 3,67 0,0005** 4,54 0,0001**
Содержание работы 3,36 0,001** 5,42 0,0001**
Примечание: *-p > 0,05; ** -p < 0,05. Результаты экспериментального среза The results of the experimental section Таблица 5 Table 5
Аспект контроля КГ Среднее ( х) ЭГ Среднее ( х) /-критерий p-значение
Лексическая сторона письменной речи 4,24 4,32 1,44 0,08*
Грамматическая сторона письменной речи 4,4 4,52 1,36 0,09*
Организационная структура работы 4,24 4,6 2,82 0,004**
Содержание работы 4,56 4,84 3,05 0,002**
Примечание: * -p > 0,05; ** -p < 0,05.
Исключение составил лишь один аспект в контрольной группе - грамматическая сторона письменной речи. Подобный прирост показателей в КГ и ЭГ подтверждает эффективность обоих методов обучения написанию эссе на иностранном языке: традиционный без использования инструментов ИИ и инновационный с использованием практики студентов с инструментом ИИ. Отсутствие
прироста по грамматической стороне речи в КГ было неожиданным. Вместе с тем факт отсутствия статистической значимости в различиях между контрольным и экспериментальным срезами в КГ по грамматической стороне речевого высказывания может быть объяснен двумя факторами. Во-первых, опытно-экспериментальная работа проводилась со студентами языковых специально-
стей. Большинство из них к моменту начала участия в обучении уже владели грамматикой английского языка на высоком уровне (х = 4,28). Этот уровень оказался достаточным для студентов, чтобы успешно выполнять задания по написанию эссе. Во-вторых, использование студентами нового грамматического материала, изучаемого ими в учебном семестре (сослагательное наклонение), при написании эссе не оказалось критическим. Поэтому имеющийся прирост в показателях контрольного и экспериментального срезов в КГ не оказался статистическим значительным.
Данные табл. 5, в которых сопоставляются результаты экспериментального среза в КГ и ЭГ направлены на подтверждение или опровержение рабочей гипотезы исследования. В нашем случае предположение подтвердилось лишь частично. Результаты обработки данных показали, что использование инновационной методики обучения студентов написанию эссе на иностранном языке на основе практики студентов с системой Criterion способствует значительно лучшему овладению обучающимися организационной структурой работы (t = 2,82 при p = 0,004), содержательной стороной эссе (t = 3,05 при p = 0,002) по сравнению с традиционной методикой. Обратная связь и рекомендации по доработке эссе по данным двум аспектам от системы Criterion позволили участникам ЭГ получить лучшие по сравнению с участниками КГ результаты.
Отсутствие статистической значимости в различиях между результатами экспериментального среза в обеих группах по лексической (t = 1,44 при p = 0,08) и грамматической (t = 1,36 при p = 0,09) сторонам письменной речи свидетельствует о том, что на этапе обучения, когда студенты владеют иностранным языком на достаточно высоком уровне, они могут вполне обходиться имеющимися языковыми средствами для решения учебных задач. Эти результаты соотносятся с результатами, полученными многими учеными в ходе эмпирических исследований. В частно-
сти, Д.В. Кретов [18], П.В. Сысоев и Е.М. Филатов [12] в ходе проведенных методических экспериментов приходили к выводу о том, что на уровне владения языком В2 и С1 не все речевые умения и аспекты иностранного языка развиты у обучающихся на одинаковом уровне. В этой связи, наблюдая прирост по одним контролируемым в ходе опытно-экспериментальной работы аспектам, можно не наблюдать прироста по лексико-грамма-тической стороне иноязычной речи. Дополнительным фактором, объясняющим отсутствие прироста по лексико-грамматическому аспекту, как утверждают П.В. Сысоев и Е.М. Филатов, может выступать отсутствие преемственности в формировании лексических и некоторых грамматических навыков при относительной универсальности речевых умений [12]. Изученная и закрепленная лексика в ходе одного тематического модуля может совершенно не иметь никакой связи с лексикой другого тематического модуля курса. Также разное грамматическое содержание имеет разную частоту использования (простые времена используются чаще, чем сослагательное наклонение и т. п.).
ВЫВОДЫ
В ходе опытно-экспериментальной проверки были выявлены лингводидактические способности системы автоматизированной проверки творческих работ на иностранном языке обучающихся Criterion. Благодаря возможности предоставлять пользователям оценочную обратную связь в виде комментариев по содержанию и структуре работы, а также рекомендаций по ее доработке, система доказала свою эффективность в развитии у студентов умений структурно организовывать текст эссе и улучшать содержание работы. Вместе с тем опытно-экспериментальная проверка не показала преимуществ авторской методики над традиционной методикой обучения написанию эссе в аспектах лексической и грамматической сторон письменной речи.
Список источников
1. Сысоев П.В. Искусственный интеллект в образовании: осведомленность, готовность и практика применения преподавателями высшей школы технологий искусственного интеллекта в профессиональной деятельности // Высшее образование в России. 2023. Т. 32. № 10. С. 9-33. https://doi.org/10.31992/0869-3617-2023-32-10-9-33, https://elibrary.ru/tzytkm
2. Сысоев П.В. Технологии искусственного интеллекта в обучении иностранному языку // Иностранные языки в школе. 2023. № 3. С. 6-16. https://elibrary.ru/qfmzhw
3. Авраменко А.П., Ахмедова А.С., Буланова Е.Р. Технология чат-ботов как средства формирования иноязычной грамматической компетенции при самостоятельном обучении // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 386-394. https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
4. Перминова Г.В. Использование чат-бота ChatGPT в процессе обучения немецкому языку как второму иностранному // Иностранные языки в школе. 2023. № 8. С. 46-54. https://elibrary.ru/rkuvac
5. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Чат-боты в обучении иностранному языку: проблематика современных работ и перспективы предстоящих исследований // Вестник Московского университета. Серия 19: Лингвистика и межкультурная коммуникация. 2023. № 3. С. 46-59. https://doi.org/10.55959/MSU-2074-1588-19-26-3-3, https://elibrary.ru/moyjhp
6. Харламенко И.В. Чат-боты в обучении английскому языку // Иностранные языки в школе. 2023. № 3. С. 55-59. https://elibrary.ru/lebneu
7. Perdana I., Farida M. Online grammar checkers and their use for EFL writing // Journal of English Teaching, Applied Linguistics, and Literatures. 2019. Vol. 2. № 2. P. 67-76. http://dx.doi.org/10.20527/jetall.v2i2.7332
8. Dembsey J.M. Closing the Grammarly Gaps: A Study of Claims and Feedback from an Online Grammar Program // The Writing Center Journal. 2017. Vol. 36. № 1. P. 63-100. https://doi.org/10.7771/2832-9414.1815
9. Jayavalan K., Razali A.B. Effectiveness of online grammar checker to improve secondary students' English narrative essay writing // International Research Journal of Education and Sciences. 2018. Vol. 2. № 1. P. 1-6.
10. Manap M.R., Ramli N.F., Kassim A.A.M. Web 2.0 automated essay scoring application and human ESL essay assessment: A comparison study // European Journal of English Language Teaching. 2019. Vol. 5. № 1. P. 146-162. http://dx.doi.org/10.5281/zenodo.3461784
11. Сысоев П.В., Филатов Е.М. ChatGPT в исследовательской работе студентов: запрещать или обучать? // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 276-301. https://doi.org/10.20310/1810-0201-2023-28-2-276-301, https://elibrary.ru/sphxkz
12. Сысоев П.В., Филатов Е.М. Методика обучения студентов написанию иноязычных творческих работ на основе оценочной обратной связи от искусственного интеллекта // Перспективы науки и образования. 2024. № 1 (67). С. 115-135. https://doi.org/10.32744/pse.2024.L6, https://elibrary.ru/tmstly
13. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Обратная связь в обучении иностранному языку: от информационных технологий к искусственному интеллекту // Язык и культура. 2024. № 65. С. 242 -261. https://doi.org/10.17223/19996195/65/11
14. Wang J., Brown M.S. Automated Essay Scoring Versus Human Scoring: A Comparative Study // Journal of Technology, Learning, and Assessment. 2007. Vol. 6. № 2. P. 1-29.
15. Guo K., Wang D. To resist it or to embrace it? Examining ChatGPT's potential to support teacher feedback in EFL writing // Education and Information Technologies. 2023. P. 1-29. https://doi.org/10.1007/s10639-023-12146-0
16. Тормышова Т.Ю., Рязанцева Т.Ю., Суханова Н.И. Обучение студентов-лингвистов написанию эссе на иностранном языке на основе работы с системой автоматизированной оценки Criterion // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 1. С. 99-108. https://doi.org/10.20310/1810-0201-2024-29-1-99-108, https://elibrary.ru/pdgnzr
17. Сысоев П.В. Этика и ИИ-плагиат в академической среде: понимание студентами вопросов соблюдения авторской этики и проблемы плагиата в процессе взаимодействия с генеративным искусственным интеллектом // Высшее образование в России. 2024. Т. 33. № 2. С. 31-53. https://doi.org/10.31992/0869-3617-2024-33-2-31-53
18. Кретов Д.В. Методика обучения студентов языковых специальностей иноязычному письменному речевому высказыванию на основе метода взаимной оценки (английский язык, языковой вуз): авто-реф. дис. ... канд. пед. наук. М., 2023. 26 с.
19. Хмаренко Н.И. Обучение студентов иноязычной письменной речи на основе педагогической технологии «Обучение в сотрудничестве» с использованием ИКТ (английский язык, языковой вуз): авто-реф. дис. ... канд. пед. наук. Тамбов, 2023. 25 с.
References
1. Sysoyev P.V. (2023). Artificial intelligence in education: awareness, readiness and practice of using artificial intelligence technologies in professional activities by university faculty. Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 32, no. 10, pp. 9-33. (In Russ.) https://doi.org/10.31992/0869-3617-2023-32-10-9-33, https://elibrary.ru/tzytkm
2. Sysoyev P.V. (2023). Artificial intelligence technologies in teaching a foreign language. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 6-16. (In Russ.) https://elibrary.ru/qfmzhw
3. Avramenko A.P., Akhmedova A.S., Bulanova E.R. (2023). Chatbot technology as a means of forming foreign language grammatical competence in self-study. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 386-394. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
4. Perminova G.V. (2023). Using chatbot ChatGPT in the process of teaching German as a second foreign language. Inostrannye yazyki v shkole = Foreign Languages at School, no. 8, pp. 46-54. (In Russ.) https://elibrary.ru/rkuvac
5. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2023). Chatbots in foreign language teaching: current issues and prospects for forthcoming research. Vestnik Moskovskogo universiteta. Seriya 19: Lingvistika i mezhkul'turnaya kommunikatsiya = Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 3, pp. 46-59. (In Russ.) https://doi.org/10.55959/MSU-2074-1588-19-26-3-3, https ://elibrary. ru/moyj hp
6. Kharlamenko I.V. (2023). Chatbots in teaching English. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 55-59. (In Russ.) https://elibrary.ru/lebneu
7. Perdana I., Farida M. (2019). Online grammar checkers and their use for EFL writing. Journal of English Teaching, Applied Linguistics, and Literatures, vol. 2, no. 2, pp. 67-76. http://dx.doi.org/10.20527/jetall.v2i2.7332
8. Dembsey J.M. (2017). Closing the grammarly gaps: a study of claims and feedback from an online grammar program. The Writing Center Journal, vol. 36, no. 1, pp. 63-100. https://doi.org/10.7771/2832-9414.1815
9. Jayavalan K., Razali A.B. (2018). Effectiveness of online grammar checker to improve secondary students' English narrative essay writing. International Research Journal of Education and Sciences, vol. 2, no. 1, pp. 1-6.
10. Manap M.R., Ramli N.F., Kassim A.A.M. (2019). Web 2.0 automated essay scoring application and human ESL essay assessment: a comparison study. European Journal of English Language Teaching, vol. 5, no. 1, pp. 146-162. http://dx.doi.org/10.5281/zenodo.3461784
11. Sysoyev P.V., Filatov E.M. (2023). ChatGPT in students' research: to forbid or to teach? Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 276-301. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-276-301, https://elibrary.ru/sphxkz
12. Sysoev P.V., Filatov E.M. (2024). Method of teaching students' foreign language creative writing based on evaluative feedback from artificial intelligence. Perspektivy nauki i obrazovaniya = Perspectives of Science and Education, no. 1 (67), pp. 115-135. (In Russ.) https://doi.org/10.32744/pse.2024.L6, https://elibrary.ru/tmstly
13. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2024). Obratnaya svyaz' v obuchenii inostrannomu yazyku: ot informatsionnykh tekhnologii k iskusstvennomu intellektu [Feedback in foreign language teaching: from information technology to artificial intelligence]. Yazyk i kul'tura = Language and Culture, no. 65, pp. 242261. (In Russ.) https://doi.org/10.17223/19996195/65/11
14. Wang J., Brown M.S. (2007). Automated essay scoring versus human scoring: a comparative study. Journal of Technology, Learning, and Assessment, vol. 6, no. 2, pp. 1-29.
15. Guo K., Wang D. (2023). To resist it or to embrace it? Examining ChatGPT's potential to support teacher feedback in EFL writing. Education and Information Technologies, pp. 1-29. https://doi.org/10.1007/s10639-023-12146-0
16. Tormyshova T.Yu., Ryazantseva T.Yu., Sukhanova N.I. (2024). Teaching students of linguistics to write essays in a foreign language based on working with the Criterion automated assessment system. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 1, pp. 99-108. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-1-99-108, https://elibrary.ru/pdgnzr
17. Sysoyev P.V. (2024). Ethics and Al-plagiarism in an academic environment: students' understanding of compliance with author's ethics and the problem of plagiarism in the process of interaction with generative artificial intelligence. Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 33, no. 2, pp. 31-53. (In Russ.) https://doi.org/10.31992/0869-3617-2024-33-2-31-53
18. Kretov D.V. (2023). Metodika obucheniya studentov yazykovykh spetsial'nostei inoyazychnomu pis'mennomu rechevomu vyskazyvaniyu na osnove metoda vzaimnoi otsenki (angliiskii yazyk, yazykovoi vuz): avtoref. dis. ... kand. ped. nauk [The Methodology of Teaching Students of Language Specialties to a Foreign Language Written Speech Utterance Based on the Method of Mutual Assessment (English, Language University). PhD (Education) diss. abstr.]. Moscow, 26 p. (In Russ.)
19. Khmarenko N.I. (2023). Obuchenie studentov inoyazychnoi pis'mennoi rechi na osnove pedagogicheskoi tekhnologii «Obuchenie v sotrudnichestve» s ispol'zovaniem IKT (angliiskii yazyk, yazykovoi vuz): avtoref. dis. ... kand. ped. nauk [Teaching Students Foreign Language Writing on the Basis of Pedagogical Technology "Learning in Cooperation" Using ICT (English, Language University). PhD (Education) diss. abstr.]. Tambov, 25 p. (In Russ.)
Информация об авторах
Прибыткова Анна Алексеевна, кандидат педагогических наук, доцент кафедры лингвистики и межкультурной коммуникации, Липецкий государственный педагогический университет им. П.П. Семенова-Тян-Шанского, г. Липецк, Российская Федерация. https://orcid.org/0000-0003-2561-6656 [email protected]
Тормышова Татьяна Юрьевна, кандидат педагогических наук, доцент кафедры иностранных языков, Липецкий государственный технический университет, г. Липецк, Российская Федерация.
https://orcid.org/0009-0005-2435-7359 [email protected]
Хаустов Олег Николаевич, кандидат педагогических наук, доцент кафедры иностранных языков, Липецкий государственный технический университет, г. Липецк, Российская Федерация.
https://orcid.org/0009-0002-6947-4397 [email protected]
Информация о конфликте интересов: авторы заявляют об отсутствии конфликта интересов.
Поступила в редакцию 30.03.2024 Одобрена после рецензирования 15.04.2024 Принята к публикации 17.04.2024
Information about the authors
Anna A. Pribytkova, PhD (Education), Associate Professor of Linguistics and Intercultural Communication Department, Lipetsk State Pedagogical P. Semenov-Tyan-Shansky University, Lipetsk, Russian Federation. https://orcid.org/0000-0003-2561-6656 [email protected]
Tatyana Yu. Tormyshova, PhD (Education), Associate Professor of Foreign Languages Department, Lipetsk State Technical University, Lipetsk, Russian Federation. https://orcid.org/0009-0005-2435-7359 [email protected]
Oleg N. Khaustov, PhD (Education), Associate Professor of Foreign Languages Department, Lipetsk State Technical University, Lipetsk, Russian Federation. https://orcid.org/0009-0002-6947-4397 [email protected]
Information on the conflict of interests: authors declare no conflict of interests.
Received 30.03.2024 Approved 15.04.2024 Accepted 17.04.2024
