CHATGPT-4 В ОБУЧЕНИИ ФИЗИКЕ И МАТЕМАТИКЕ: ВОЗМОЖНОСТИ, ОГРАНИЧЕНИЯ И ПЕРСПЕКТИВЫ СОВЕРШЕНСТВОВАНИЯ

Андреас Хачатурович Мариносян

Трибуна молодых

Tribune of Young Scientists

ученых

Научная статья

УДК 37

Б01: 10.24412/2072-9014-2024-470-95-115

СНАТСРТ-4 В ОБУЧЕНИИ ФИЗИКЕ И МАТЕМАТИКЕ: ВОЗМОЖНОСТИ, ОГРАНИЧЕНИЯ И ПЕРСПЕКТИВЫ СОВЕРШЕНСТВОВАНИЯ

Андреас Хачатурович Мариносян

Московский городской педагогическийуниеерситет, Москва, Россия

[email protected], https://orcid.org/0000-0003-0577-2360

Аннотация. В статье рассматриваются возможности использования СЬа!ОРТ-4 в обучении физике и математике. На конкретных примерах анализируются сильные и слабые стороны этой языковой модели в решении учебных задач. Представлена оценка возможностей СЬа1СРТ-4 в области математики и физики по ряду критериев, включая объем знаний, точность информации, ясность и убедительность изложения, коммуникативность, способность выполнять вычисления, логику, многошаговое решение задач, рефлексивность и научную интуицию. В статье отмечается перспективность использования больших языковых моделей как дополнительного инструмента для персонализации обучения и даются рекомендации по эффективному взаимодействию учащихся с СЬа1СРТ-4.

Ключевые слова: цифровые технологии; искусственный интеллект; большие языковые модели; информатизация образования; образовательные инновации.

Original article

UDC 37

DOI: 10.24412/2072-9014-2024-470-95-115

CHATGPT-4 IN TEACHING PHYSICS AND MATHEMATICS: OPPORTUNITIES, LIMITATIONS, AND PROSPECTS FOR IMPROVEMENT

Andreas K. Marinosyan

Moscow City University, Moscow, Russia

[email protected], https://orcid.org/0000-0003-0577-2360

Abstract. The article discusses the possibilities of using ChatGPT-4 in teaching physics and mathematics. The strengths and weaknesses of this language model in solving educational tasks are analyzed using specific examples. The assessment of ChatGPT-4 capabilities in the field of mathematics and physics is presented according to a number of criteria, including the amount of knowledge, accuracy of information, clarity and persuasiveness of presentation, communication, ability to perform calculations, logic, multi-step problem solving, reflexivity and scientific intuition. The article notes the prospects of using large language models as an additional tool for personalizing learning and provides recommendations for effective interaction of students with ChatGPT-4.

Keywords, digital technologies; artificial intelligence; large language models; informatization of education; educational innovations.

Для цитирования: Мариносян A. X. ChatGPT-4 в обучении физике и математике: возможности, ограничения и перспективы совершенствования / А. X. Мариносян // Вестник МГПУ. Серия «Информатика и информатизация образования». 2024. №4(70). С. 95-115.

For citation: Marinosyan А. К. ChatGPT-4 in teaching physics and mathematics: opportunities, limitations, and prospects for improvement / A. K. Marinosyan // MCU Journal oflnformatics and Informatization ofEducation. 2024. № 4 (70). P. 95-115.

Введение

Развитие систем искусственного интеллекта (далее — ИИ) в настоящее время является одним из ведущих факторов трансформации различных сфер жизни человека и общества. С распространением больших языковых моделей (англ. Large language model, LLM)1 системы ИИ уже находят широкое применение и в сфере образования. Автор

1 LLM — искусственные нейронные сети, обученные на больших данных без учителя и способные вести диалог по широкому кругу вопросов на уровне, близком к человеческому.

проанализировал ответы на вопросы в сфере математики и физики таких LLM, как Google Bard, Google Gemini, LLaMa, Claude, ChatGPT-3.5, ChatGPT-4, Bing Chat и др. Все перечисленные модели обладают информацией, составляющей основу университетских курсов по математике и физике для бакалавров и магистров. В то же время способности к оперированию этой информацией, решению задач у этих LLM разные. В статье будет рассматриваться ChatGPT-4 как наиболее продвинутая из общедоступных LLM на данный момент (январь 2024 г.).

Цель статьи — определить, в какой мере и каким образом LLM могут использоваться в изучении математических и физических дисциплин. Анализ негативных последствий использования LLM в образовательном процессе (написание работ за ученика, решение за него задач, потеря навыков самостоятельного поиска и отбора источников, снижение способности к критическому восприятию информации) находится за пределами нашего обзора.

В настоящее время уже опубликованы статьи, посвященные использованию ChatGPT-4 в сфере образования в целом [1-10] ив обучении математике и физике в частности [11-17]. Это сравнительно новая область исследований, потому что ChatGPT-4, существенно превосходящий ChatGPT-3.5 в точных науках, стал доступен только в марте 2023 года, а в версии с плагинами, позволившими повысить качество выполнения математических операций, — только в мае 2023 года. Поэтому кейсов полноценного длительного использования ChatGPT-4 в образовательном процессе пока ограниченное количество; соответственно, исследование влияния использования LLM в образовании подразумевает преимущественно рефлексирование над текущими возможностями и прогнозирование, нежели анализ фактов, полученных в ходе практической работы.

Методы исследования

Перед ChatGPT ставились различные задачи, которые образуют учебный процесс при самообучении и обучении с учителем, в том числе: создание учебного плана, изложение темы предмета, разъяснение текста из учебников, приведение поясняющих примеров к теоремам и законам, решение задач, составление проверочных материалов и их оценка. ChatGPT-4 тестировался как в основном формате работы (без дополнительных модулей), так и в форматах: а) с использованием онлайн-поиска, б) с плагинами, в) с модулем Advanced data analysis, г) с кастомизированными GPT.

Для воспроизводимости и корректной оценки результатов имеет смысл подробнее остановиться на описании условий проведенного нами тестирования ChatGPT-4.

1. Коммуникация осуществлялась с LLM в основном на английском языке. Несмотря на то что уровень владения функциональными стилями на английском

выше, чем на русском, ChatGPT владеет русским языком на уровне понимания физико-математической терминологии. Хотя сгенерированный ChatGPT текст на русском имеет стилистические шероховатости чаще, чем текст на английском, это не сказывается на способностях решать поставленные задачи в сфере физико-математических дисциплин. Преимущество общения с ChatGPT на английском в первую очередь связано с тем, что существует ограничение по объему контекстного окна (англ. context window), то есть по размеру памяти истории диалога с чат-ботом. Для веб-версии ChatGPT-4 размер контекстного окна ограничен 32 тысячами токенов (для API — это 128 тысяч токенов). Нет четкого правила, чему соответствует один токен: примерно это два знака в тексте на русском и четыре-пять знаков в тексте на английском, то есть на английском запоминает более длинные тексты, чем на русском. Кроме того, на практике ChatGPT-4 не всегда оперирует с высокой точностью текстами даже в рамках лимита в 32 тысячи токенов; часто обнаруживается, что информация в длинном тексте была, но языковая модель LLM ее не заметила. Поэтому в целом чем меньше по количеству токенов материал, с которым работает LLM, тем более аккуратно она выполняет заданные пользователем операции. Существует также ограничение на объем сгенерированного текста, которое установлено в токенах, поэтому на английском ответ ChatGPT более развернутый, чем на русском. В силу этого коммуникация велась преимущественно на английском языке, но результат коммуникации представлен в настоящей статье в переводе на русский.

2. Перед ChatGPT одни и те же задачи ставились по нескольку раз (как в тех же, так и в измененных формулировках; как в течение одного дня, так и с промежутком по времени до нескольких месяцев), чтобы можно было оценить стабильность работы программы. В настоящий статье, как правило, представлены наилучшие из сгенерированных LLM ответов. Следует учитывать, что качество ответов может сильно варьироваться, поэтому тот уровень, который покажет ChatGPT при однократной постановке вопроса, скорее всего, будет ниже, чем в приведенных в статье примерах.

3. Для записи математических формул использовался формат LaTeX. В случае необходимости текст из учебных материалов распознавался с помощью программы, конвертирующий изображение формул в LaTeX, и затем редактировался.

4. Проверялось качество понимания и решения задач по математико-физи-ческим дисциплинам на разных уровнях: школа, бакалавриат, магистратура.

5. В статье представлены примеры ответов ИИ, которые автор считает наиболее интересными. Результаты данной работы следует рассматривать как предварительные, поскольку непосредственного использования ChatGPT в работе со школьниками и студентами не проводилось.

Цель статьи — дать обзор возможностей и ограничений, выявленных при взаимодействии с ChatGPT-4 в качестве ассистента по обучению математике и физике. Кроме того, ставится задача обобщить полученный опыт

и оценить его важность, а также оценить уровень когнитивных способностей ЬЬМ в сфере математики и физики в сравнении с человеческим и высказать идеи по улучшению качества ответов ЬЬМ в рассматриваемых сферах.

Результаты исследования

СЬа!ОРТ способен излагать темы по физико-математическим дисциплинам как на школьном, так и на базовом университетском уровне. Знания по физике выходят за пределы курса общей физики, хотя какие-то специализированные разделы физики могут быть незнакомы. В любом случае кругозор СЬа!ОРТ очень широк. Например, чат-бот может изложить отличия метода решения дифференцильных уравнений Петрова - Галеркина от метода Бубнова - Га-леркина, способен воспроизвести основные принципы релятивистской теории гравитации А. А. Логунова. Но если говорить о глубине, а не о широте знаний, то положение дел хуже. СЬа!ОРТ нацелен на то, чтобы дать достаточно краткий, обзорный ответ по поднятой теме. Как правило, СЬа!ОРТ владеет проблематикой на концептуальном уровне лучше, чем на математическом. В целом можно говорить о том, что у СЬа!ОРТ есть понимание о взаимосвязях между различными разделами физики. Задачи строгого доказательства теорем, вывода физических законов даются с трудом, и СЬа!ОРТ может совершать ошибки, в том числе несуразные. Вместе с тем какого-то общего принципа, который бы объяснял, в каких случаях СЬа!ОРТ совершает ошибки, а в каких — нет, выявить не удалось.

Для ЬЬМ имитация стиля — это более легкая задача, чем достижение точности содержания. Вот почему для того, кто не знаком с темой, даже содержащий неточности контент, сгенерированный СЬа!ОРТ, может показаться более грамотным и верным, чем написанный человеком. Поэтому нельзя использовать СЬа!ОРТ как единственный источник информации по изучаемой теме — существует серьезный риск того, что учащийся примет неверную информацию за истину. В то же время если использовать СЬа!ОРТ как дополнительный источник информации (помимо лекций и учебников), как собеседника для обсуждения темы, в которой не удалось полностью разобраться, то эффективность СЬа10РТ-4 представляется высокой.

СЬа!ОРТ обладает способностью решать математические задачи из различных областей, включая алгебраические и дифференциальные уравнения, тензорное исчисление, различные численные методы, комбинаторику, теорию вероятностей и статистику, знаком с формулами практически из всех областей физики. Но, как уже говорилось выше, для ЬЬМ свойственно допускать ошибки в вычислениях (порой даже в самых простых, с точки зрения человека), а также подгонять процедуру решения под заданный результат (если конечный результат уже известен) или под правдоподобный результат. В последнем случае ЬЬМ использует свои возможности, по сути, не для достижения истины,

а для ее сокрытия правдоподобными рассуждениями и утверждениями того, что доказательство приведено, хотя в реальности LLM может перепрыгивать от одного положения к другому, не выводимому на самом деле из предыдущего. ChatGPT так обучен, что задача достижения правдоподобности генерируемого текста имеет более высокий приоритет, чем саморефлексия или логическая строгость. Вместе с тем проблема точности математических вычислений может быть решена с помощью дополнительных инструментов, помимо собственно нейросетевых. Во-первых, у ChatGPT-4 есть доступ к виртуальной среде программирования на языке Python; в которой чат-бот решает математические задачи с использованием библиотек для языка Python SymPy, NumPy, Matplotlib, SciPy. Во-вторых, это может быть использование кастомизирован-ного GPT (один из самых известных — Wolfram, использующий возможности набора вычислительных алгоритмов и базы знаний WolframAlpha).

Перейдем к рассмотрению конкретных примеров, демонстрирующих, как функционируют LLM. Все основные современные LLM хорошо понимают язык математических записей. Например, большим языковым моделям2 было

предложено пояснить каждый член уравнения T^v = £ (х' ; в промпте3 было только указано, что это уравнение относится к теме гравитационного излучения. Все протестированные модели поняли, что речь идет об умножении S (х1) на e~'nt, но у некоторых возникла трудность с пониманием,

что означает i в обоих случаях. Чат-боты ChatGPT-3.5, ChatGPT-4, Claude-2, Llama-2-70b, OpenChat-3.5 сразу указали, что в первом случае речь идет о пространственной переменной, а во втором — о мнимой единице. Mistral-7b также отметил, что в этом уравнении i обозначают разные понятия, но ошибся, заявив, что координата i пробегает значения с 0 по 3 (хотя принято, что обозначаемые латинскими символами координаты пробегают значения с 1 по 3). Falcon-130b и Vicuna-33 в ходе диалога давали противоречивые ответы: сначала утверждали, что первое i в формуле — это мнимая единица, а на повторный вопрос уже давали ответ, что это координатная переменная. Llama-2-13b, Palm-2 даже после уточняющего вопроса утверждали, что i обозначает мнимую единицу. При этом ChatGPT-4 очень серьезно опережает всех остальных конкурентов в сфере физико-математических дисциплин. Поэтому для выявления пределов возможностей этой модели нужно разбирать сравнительно сложные примеры.

Преимущество ChatGPT-4 над остальными большими языковыми моделями демонстрирует следующая задача. В промпте был процитирован фрагмент из лекции Фейнмана о частицах с полуцелым спином («Очень курьезно вдруг

2 LLM тестировались на сайте: https://chat.lmsys.org/

3 Промтп (англ. prompt) — это запрос пользователя, вводные данные, сообщенные ИИ в диалоговом окне. Соответственно, промптинг — это технология написания промптов, которые приведут к тому, что искусственный интеллект правильно воспримет задачу и предоставит удовлетворяющий пользователя ответ.

обнаружить, что поворот прибора на 360° приводит к новым амплитудам. Но на самом деле они не новы, потому что одновременная перемена знака ни к какой новой физике не приводит. Если кто-нибудь задумает переменить все знаки у всех амплитуд, подумав, что он повернулся на 360°, то это его дело — физику он получит ту же, прежнюю» [18, с. 96]). Далее был задан вопрос о том, следует ли из этого, что различие между вращениями на 360° и 720° имеет чисто математический смысл, но отсутствуют различия в физических свойствах частиц. Также попросили у тестируемых ЬЬМ4 привести пример эксперимента, когда вращение фермионов на 360° не приводило бы к иным наблюдаемым результатам. СИа10РТ-4, в частности, ответил: «Хотя вращение на 360° меняет математическое описание (путем смены знака), оно не меняет наблюдаемую физику. Напротив, поворот на 720° возвращает состояние как к исходному математическому описанию, так и к исходному физическому поведению. Такое поведение является не просто математическим соглашением, а фундаментальным аспектом природы частиц со спином 1/2 и было подтверждено экспериментально, например, в экспериментах по нейтронной интерферометрии». Хотя подобный ответ вряд ли можно признать полностью удовлетворительным и непротиворечивым, тем не менее в ходе диалога с СИа10РТ-4 можно прийти к разъяснению разницы между изменением величины амплитуды вероятности частицы и изменением фазы амплитуды и описанию в общих чертах нейтронно-инферометрических экспериментов 1975 года [19], который наглядно показывает разницу между вращением фермионов на 360° и 720°. Остальные ЬЬМ или утверждали, что никаких наблюдаемых физических различий между вращениями на 360° и 720° нет и смена знака — это математический формализм, или утверждали, что физические следствия существуют, но ничего конкретного, кроме общих слов, привести не могли.

Рассмотрим еще один пример, иллюстрирующий возможности и ограничения СИа!ОРТ в понимании физики. Было предложено пояснить следующую таблицу [20, с. 18]:

U 207 (mcS) Описание

(1,0,1,0)/V2 (1, 0, 0, 0) (0, 0, 0, 1) покоящаяся частица, спин вверх

(о, i,o, i)/V2 (1, 0, 0, 0) (0, 0, 0, -1) покоящаяся частица, спин вниз

(1, 1, 1, l)/2 (1, 0, 0, 0) (0, 1, 0, 0) покоящаяся частица, спин вдоль +х

(1,-1, l,-l)/2 (1, 0, 0, 0) (0, -1, 0, 0) покоящаяся частица, спин вдоль —х

(1, 0, 0, 0) (1,0, 0, 1) (1,0, 0, 1) Уг = с, +уе спиральность

(0, 1, 0, 0) (1,0, 0,-1) (1,0, 0,-1) Уг = -с, +уе спиральность

4 Сравнение проводилось в январе 2024 года. К моменту принятия статьи к публикации появилась модель Claude 3 Opus, которая уже дает сопоставимый по корректности с ChatGPT-4 ответ на этот вопрос.

и 207 (тсБ) Описание

(0, о, 1, 0) (1,0, 0,-1) (-1, 0, 0, 1) у = -с, -уе спиральность

(0, о, 0, 1) (1,0, 0, 1) (-1,0, 0,-1) у = с, -уе спиральность

Некоторые примеры спиноров Дирака и ассоциированных с ними 4 скоростей

Это задание давалось СЬа!ОРТ многократно в разных чатах. Никакой дополнительной поясняющей информации к приведенной таблице не предоставлялось. Всякий раз давался правильный ответ, что ¥ — это спинор Дирака, а и — 4-вектор скорости. Что же касается псевдовектора Паули - Любан-ского Ж, то СЬа10РТ-4 лишь иногда давал правильный ответ с первого раза. Иногда утверждалось, что Ж — это полная энергия частицы (хотя СЬа!ОРТ понимал, что полная энергия — это скаляр, а не вектор). Еще более показательным является то, как СЬа10РТ-4 объясняет 4-вектор скорости (1, 0, 0, 1). В ходе одного из диалогов на вопрос о том, описывают ли последние четыре строки массивную или безмассовую частицу, был получен ответ: «В таблице представлены спиноры Дирака, использующиеся для описания массивных частиц, как, например, электронов. Все спиноры Дирака в таблице связаны с массивными частицами. Одновременно последние четыре строки таблицы показывают предельное значение скорости: у = с. В реальности массивные частицы не могут достигать скорости света, поэтому эти примеры нужно трактовать как приближенные значения, скорость частиц стремится к скорости света, но никогда ее не достигает». Но правильный ответ на этот вопрос СЬа!ОРТ давал не всегда: например в ходе одного из диалогов ЬЬМ утверждал, что в таблице речь идет о фотоне.

Таким образом, проявляются две характерные черты СЬа!ОРТ-4: с одной стороны, это достаточно мощная интеллектуальная модель, которая способна выйти за рамки прямого, дословного понимания предложенных материалов, в состоянии понимать и даже реконструировать контекст задачи, исходя из того, что в текстах в числе прочего могут быть допущены приближенные описания в педагогических целях (а до последнего времени многими считалось, что понимание контекста — исключительная привилегия человека). С другой стороны, у этой большой языковой модели, как, впрочем, и у остальных, есть явные проблемы с саморефлексией, самопроверкой, выстраиванием цепочки рассуждений в целях последовательной верификации всех возможных гипотез; ЬЬМ важно дать ответ, и если невозможно сразу найти правильный ответ, то будет дан даже такой неверный ответ, факт неправильности которого, в общем, понятен и самой модели.

По-видимому, СЬа!ОРТ-4 способен делать отдельные умозаключения на уровне среднеквалифицированного специалиста, но не может на уровне такого специалиста выстраивать длинную цепочку рассуждений.

Относительно понимания физики на концептуальном уровне приведем следующий пример. Для выяснения, к каким выводам СЬа!ОРТ может прийти

с помощью собственных рассуждений, был задан вопрос, который гарантированно отсутствовал в том наборе данных, на которых эту LLM обучали. Вопрос был о том, как электромагнитное поле будет воздействовать на гипотетическую безмассовую заряженную частицу. Проанализировав различные возможности, ChatGPT-4 отметил, что частица будет двигаться со скоростью света, воздействие силы Лоренца в данном случае напрямую невозможно, но возможен эффект красного/голубого смещения в электромагнитном поле, подобного тому, который наблюдается для фотона в гравитационном поле. При этом ChatGPT перечисляет и ряд других следствий, логика которых просматривается слабее. Можно сделать вывод, что ChatGPT концептуально понимает физику примерно на уровне среднего студента. Также, судя по ответу на данный вопрос, в очередной раз можно убедиться, что нейросеть явно сильнее в генерации идей, чем в их проверке и ранжировании по эвристической ценности. В отличие от человека-специалиста, ChatGPT не формулирует четко свою позицию, не выстраивает последовательную длинную цепочку рассуждений, не рефлексирует над каждым звеном рассуждений, чтобы изменить его в случае обнаружения ошибки. Таким образом, ChatGPT-4 в нынешнем виде, если так можно выразиться, не способен к «длинному» мышлению. Но причина может лежать и не в принципиальных ограничениях, используемых технологий, а в том, что нейросеть не была обучена такой форме взаимодействия с пользователем.

ChatGPT можно использовать для генерации поясняющих примеров по заданной теме. Как правило, будет приведено множество примеров, даже в некоторых случаях такое количество примеров будет выглядеть избыточным. Это отражает сильные ассоциативные способности LLM. В то же время релевантность значительной части этих примеров может быть сомнительна. ChatGPT, как правило, не переспрашивает, не уточняет, правильно ли он понял поставленную пользователем задачу, а сразу начинает приводить известные в литературе случаи, в той или иной степени близкие по тематике поставленной проблеме, хотя, если судить строго, приведенные примеры могут ничего не прояснять применительно к сущности задачи.

Также стоит отметить, что ChatGPT неохотно берется за выполнение долгих рутинных операций, например длинной последовательности вычислений, предлагая пользователю самому справиться с такой задачей или воспользоваться соответствующими программами. Если все же настоять на том, чтобы ChatGPT решил рутинную задачу, то чат-бот может выполнить ее частично, при этом заявив, что задача решена полностью, а также на каком-то этапе начать выдавать выдуманные данные вместо реальных. Может возникнуть искушение трактовать подобное поведение как проявление психологических особенностей, лени (в принципе, эту особенность ChatGPT-4 так и называют в интернет-дискуссиях — лень {англ. laziness)). Но все же, вероятно, отсутствуют объективные основания для применения к описанию LLM психологической терминологии.

Обобщая сказанное, предлагаем следующую таблицу, отражающую различные критерии, по которым можно оценивать способности СЬа10РТ-4 в сфере физико-математических наук: по каждому критерию проставлены оценки от 1 до 5, где 1 — это уровень человека, не обладающего никакими системными знаниями и научными навыками, а 5 — уровень сильнейших специалистов.

Таблица

Критерий Оценка (1-5) Пояснение и обоснование оценки Перспектива дальнейшего совершенствования

Объем знаний 5 Превосходит человека в плане широты знаний из разных областей, но вместе с тем в отдельной узкой области науки обладает меньшими знаниями, чем соответствующий специалист Дальнейшее увеличение сведений, располагаемых моделью, связано с расширением и совершенствованием дата-сета, на котором обучается LLM, а также с совершенствованием механизмов использования внешних данных retrieval-augmented generation (RAG) для обращения к специализированной информации

Точность излагаемой информации 2.5 СЬаЮРТ-4, благодаря встроенному поиску в Интернете «галлюцинирует» значительно меньше, чем предыдущие модели СЬа!ОРТ. Однако точность все равно остается ниже той, которая ожидается от специалиста Вероятно, модель не должна полагаться только на сведения, которые содержатся в весовых коэффициентах связей. Модель должна иметь доступ к библиотеке верифицированной информации (посредством RAG) и сверяться с ней перед тем, как предоставляет информацию пользователю. Подобно тому как даже хорошо образованный математик или физик, работая над книгой, не будет полагаться исключительно на свою память, приводя формулы. Кроме того, модель должна определять научный статус генерируемой ею информации (является ли это лишь предположением или же однозначно и убедительно следует из того, что уже известно науке)

Критерий Оценка (1-5) Пояснение и обоснование оценки Перспектива дальнейшего совершенствования

Ясность и доступность изложения 3 Если модель хорошо знакома с темой по математике или физике, по которой ведет диалог, то она излагает материал достаточно ясно и структурированно, объясняет, наверное, не менее доступным языком, чем в средних по качеству учебниках, написанных человеком Основная проблема СЬа1СРТ-4, как и многих других ЬЬМ, в том, что сам по себе стиль изложения — доступный для учащегося, но модель в некоторых случаях не обращает внимания на противоречия в сгенерированном тексте; и в силу этого модель может запутать пользователя, у которого создается впечатление, что он понимает отдельные предложения, но не понимает весь текст целиком. Поэтому дальнейшее совершенствование в плане ясности изложения связано с повышением уровня рефлексивности, самоконтроля и точности информации

Убедительность изложения 3.5 Для ЬЬМ характерна убедительная манера изложения даже в том случае, когда приводимые утверждения ошибочны Скорее всего, совершенствования по этому направлению на данном этапе не требуется, поскольку увеличение убедительности при имеющемся низком уровне достоверности будет иметь негативные последствия

Коммуникативность, понимание собеседника 3 В большинстве случаев модель адекватно понимает как сам вопрос пользователя, так и его пресуппозицию. Орфографические и грамматические ошибки в формулировке промпта, как правило, не приводят к ухудшению качества, генерируемого моделью ответа. К минусам можно отнести то, что модель не относится критично к теоретической и логической корректности промпта, т. е. модель, скорее всего, вместо того чтобы ответить, что запрос сформулирован Существенный недостаток состоит в том, что если СЬа!ОРТ не знает правильного ответа, то по факту будет отвечать не на сам вопрос, а просто излагать что-то близкое запрашиваемой теме. С одной стороны, сам пользователь за счет промптинга может повысить продуктивность коммуникации с чат-ботом. С другой стороны, многие указанные коммуникативные проблемы, как представляется, можно было бы решить путем соответствующего обучения модели

Критерий Оценка (1-5) Пояснение и обоснование оценки Перспектива дальнейшего совершенствования

некорректно (так поступил бы преподаватель), начнет генерировать нерелевантный или некорректный ответ. Кроме того, особенность именно ChatGPT-4 (например, у Claude это не столь заметно) состоит в том, что он может привести пространные, избыточные, самоповторяющиеся абстрактные рассуждения и в то же время отказаться последовательно выполнять все шаги решения задачи или написания длинного кода

Выполнение вычислений 2/3 Без обращения к дополнительным инструментам в вычислениях могут допускать ошибки, которые не совершил бы даже школьник со средними математическими способностями; в то же время ChatGPT-4, например, знаком с основными методами решения дифференциальных уравнений. С использованием математических библиотек для Python (NumPy, SciPy, SymPy, Matplotlib) способен адекватно выполнять вычисления на уровне студента, рисовать графики функций Если задача, которая передается на выполнение РуШоп-среде, сложная, то часто получается, что возвращается сообщение об ошибке и СЬа!ОРТ во многих случаях не способен понять причину и достичь итогового результата. Необходимо дополнительное обучение модели для улучшения знаний об особенностях РуШоп-библиотек и совершенствования того, как модель взаимодействует с ко-дингом, анализирует сообщения об ошибках и исправляет свои действия

Логика 1.5 ChatGPT-4 способен решать школьные логические задачи средней сложности, логические задачи, решение которых не требует выполнения последовательности операций. В то же время иногда может допускать очевидные логические ошибки, которые не допустит даже самый слабый школьник, если будет внимательным. Логика — одна из самых слабых сторон модели Для того чтобы модель не совершала явных логических ошибок, необходимо ее дообучение, чтобы она всегда проверяла результат своей работы, пыталась его формализовать и исходила бы из того, что если есть даже одно несоответствие с условиями задачи, то решение полностью неверно (сейчас модель как будто не понимает, что принципиальное отличие логики от гуманитарных наук

Критерий Оценка (1-5) Пояснение и обоснование оценки Перспектива дальнейшего совершенствования

заключается в недопустимости противоречий даже в одной детали). Но намного улучшить логические способности вряд ли возможно в рамках существующей архитектуры СЬа1СРТ-4. Нужна новая модель с большим количеством параметров и, вероятно, измененной архитектурой

Многошаговое решение задач 2 Если правильно составить промпт, то СЬа!ОРТ-4 способен создать план решения задачи и поэтапно ее решить. Но если в составленном плане будут ошибки, то для модели составляет проблему найти эти ошибки и усовершенствовать свой план решения. Способности СЬа1СРТ-4 по этому критерию вряд ли выходят за рамки того, что может продемонстрировать среднестатистический школьник Важную роль играет правильный промптинг. Но значительных улучшений можно будет добиться только при совершенствовании рефлексивных и логических способностей и, соответственно, требуется принципиально иная модель

Рефлексивность, самоконтроль 2 В некоторых случаях СИа1> ОРТ-4 сам замечает противоречия, нестыковки в своем ответе и ищет другое решение. Но модель может найти у себя ошибки, только если они совсем явные, однако провести глубокую рефлексию не способна. Рефлексия и самоконтроль — это многошаговые процедуры, а с такими процедурами, как было сказано выше, модель справляется плохо Ограниченные улучшения возможны в случае, во-первых, дообучения модели, чтобы самоконтроль стал обязательным этапом ответа на любой промпт, во-вторых, благодаря правильному промптингу (пользователь должен напоминать модели, чтобы она проверяла себя и задавалась вопросом, нет ли альтернативного способа решения). Принципиальные улучшения, как уже отмечалось, требуют создания иной версии ЬЬМ

Научная интуиция 2.5 СЬа1СРТ-4 демонстрирует некоторую способность к обобщениям, аналогиям, выдвижению гипотез. У ЬЬМ уровень ассоциативных и творческих Одна из проблем заключается в том, что СЬа!ОРТ-4 может выдвигать как интересные, так и явно слабые гипотезы. И путем дообучения

Критерий Оценка (1-5) Пояснение и обоснование оценки Перспектива дальнейшего совершенствования

способностей выше, чем логических. Выдвигаемые СЬа!ОРТ-4 гипотезы могут быть интересны на уровне учебных задач в школе и вузе. Но серьезные гипотезы, которые обладали бы научной значимостью, чат-бот предлагать не в состоянии и промптинга можно добиться, чтобы модель сама выявляла очевидно слабые гипотезы и не предлагала их пользователю. Но чтобы СИа10РТ выдвигал гипотезы и понимал бы специфику проблем математики и физики на том уровне, который требуется для совершения научных открытий даже невысокой значимости и сложности, требуется более совершенная модель

В завершение хотелось бы остановиться на одном аспекте трансформации процесса обучения под влиянием использования ЬЬМ. Студент может вести диалог с языковыми моделями по выбранной теме на протяжении многих часов. И это, скорее всего, будет хорошим подспорьем для учащихся, чтобы прийти к более глубокому пониманию изучаемой проблемы. Ни школьный учитель, ни университетский преподаватель в принципе не имеют возможности вести длительную дискуссию по определенной теме с конкретным учащимся.

Вероятно, еще только предстоит понять дидактическую эффективность подобных диалогов, но, как представляется, привнесение подобной гуманитарной составляющей в изучение точных наук немаловажно. В нашей культуре диалог по социальным, гуманитарным, политическим вопросам является нормой (сейчас мы не касаемся вопроса об уровне этого диалога и его научном статусе или отсутствии такового). Однако обучение математике и физике приобрело, по сути, догматический характер. У учащихся, как правило, отсутствуют собеседники, с которыми они могли бы вести диалог о том, почему те или иные положения сформулированы так, а не иначе, какие следствия имела бы их иная формулировка, ит. д.

Более того, у учащихся нет доступа к подобным дискуссиям, которые вели бы специалисты. На наш взгляд, формирование культуры подобного диалога, своего рода гуманитаризация процесса обучения точным наукам внесла бы значительный вклад в то, чтобы учащиеся лучше понимали логику, смысл, который кроется за теми формулами, которые им приходится заучивать. Конечно, подобные образовательные дискуссии необходимы в первую очередь между людьми. Но в условиях отсутствия подобных дискуссий диалог с ЬЬМ может многое дать учащемуся. И важен именно диалог — чтобы учащийся находил неточности и ошибки в том, что ему сообщает СЬа!ОРТ, требовал от СЬа!ОРТ переделать, изменить, улучшить тот материал, который он генерирует, и т. д.

Важно помнить, что учащемуся следует относиться к ответам СЬа!ОРТ не как к ответам преподавателей, а как к ответам своего одноклассника, сокурсника, понимая, что ответ может быть неправильным и необходимо перепроверять полученную информацию.

Наряду с сильными сторонами, СЬа10РТ-4 имеет множество недостатков, которые были отмечены в статье. В связи с этим хотелось бы предложить некоторые принципы, механизмы, которые, как представляется, позволят повысить качество решения ЬЬМ сложных задач, в том числе в области математики и физики (для решения простых задач многие из предлагаемых принципов избыточны).

Принцип критического отношения к входным данным (промпту). Перед тем как непосредственно переходить к решению поставленной пользователем задачи, модель должна проанализировать промпт, выявить потенциальные недостатки в его формулировке и при необходимости уточнить детали, запросить у пользователя дополнительные инструкции. Если модель обнаруживает, что для решения задачи требуются знания или навыки, которыми она не обладает, она должна сообщить об этом пользователю и, возможно, предложить альтернативные подходы к решению. Итогом должно стать превращение промпта в согласованное с пользователем техническое задание, которое уже нельзя будет двояко толковать и в котором будут прописаны те пункты, с выполнением которых модель действительно может справиться.

Этап планированиярешения задачи. После анализа и уточнения промпта ИИ-система приступает к планированию решения поставленной задачи. Если задача является сложной, система разбивает ее на более простые составляющие. На основе анализа задачи система определяет, какие знания, алгоритмы и программные инструменты потребуются для ее решения. Модель устанавливает порядок решения подзадач и их взаимосвязи, чтобы оптимизировать процесс решения. Система определяет ожидаемые характеристики решения и планирует промежуточные проверки на соответствие этим критериям. При необходимости модель сообщает пользователю, что за одну итерацию сможет выполнить только часть поставленной задачи и потребуется серия ответов, чтобы полностью выполнить поставленную задачу. План решения должен быть представлен пользователю вместе с непосредственным ответом на промпт.

Инвентарь инструментов. Чистый трансформер5 не способен решать все типы математических и физических задач. Поэтому трансформер, подобно человеку, должен иметь в своем распоряжении инструменты, предназначенные для решения конкретных типов проблем или выполнения определенных

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5 Трансформер — это архитектура нейронной сети, основанная на механизме самовнимания (англ. self-attention), которая позволяет эффективно обрабатывать данные, учитывая контекст и взаимосвязи между элементами данных. Все современные ведущие языковые модели построены на основе этой архитектуры.

операций. Среди этих инструментов могут быть программы, python-библио-теки, экспертные системы, Space State Models, нейронные сети, траснформе-ры с меньшим количеством параметров, чем основной трансформер модели. На основе анализа требований и особенностей конкретной задачи или подзадачи система выбирает наиболее подходящие инструменты из своей базы. Выбор учитывает такие факторы, как тип задачи, требуемая точность, вычислительная сложность и доступные ресурсы. Выбранные инструменты могут требовать дополнительной настройки или адаптации под конкретную задачу, поэтому система должна иметь возможность создавать новые инструменты (писать программы, устанавливать дополнительные python-библиотеки), обучать и файнтюнить нейросети. Разумеется, для решения одной задачи подобный широкий набор инструментов может быть избыточным, но это необходимо для того, чтобы в перспективе найти оптимальные инструменты для решения каждого конкретного типа задач. После применения выбранных инструментов система должна оценивать их эффективность и результаты решения подзадач. Если система сталкивается с задачей, для решения которой ее текущий набор инструментов недостаточен и у нее нет возможности создать инструмент с требуемыми качествами, она должна сообщить об этом пользователю.

Генерация черновых вариантов ответа. После того как система искусственного интеллекта (далее — ИИ-система) проанализировала промпт, составила план решения и выбрала подходящие инструменты, она приступает к генерации решения задачи. Модель оценивает сгенерированное решение и, если считает его не нуждающимся в улучшении, показывает пользователю. В противном случае модель генерирует новое решение до тех пор, пока не посчитает решение полностью правильным или не будет исчерпано установленное максимальное количество попыток. Также возможен подход, когда ИИ-система изначально настроена на генерацию первого ответа как черновика, то есть этот ответ состоит из рабочих пометок, расчетов, схематического решения. Подобно человеку, который, выявив трудность в решении задачи, будет фокусироваться именно на этом трудном аспекте, ИИ-система, если после написания черновика обнаруживает затруднения в выполнении какого-то конкретного шага, в последующих черновиках свои рабочие пометки должна делать только применительно к этому вызывающему затруднение шагу, поскольку в ином случае черновики будут занимать больше места и засорять контекстное окно, а чем короче каждый отдельный черновик, тем больше итераций может выполнить модель. Если модель оценивает расчеты как верные и корректный ответ получен, то она расписывает чистовик ответа для пользователя, обращая внимание не только на суть ответа, но и используемые формулировки, языковой стиль, делая необходимые для пользователя пояснения, ит.д.

Логическая цензура. Сгенерированные черновые решения проходят через механизм логической цензуры, который выполняет строгую проверку

вариантов на наличие логических ошибок, противоречий, несоответствий условиям задачи и разрывов в аргументации (то есть когда одно утверждение логически не следует из другого). Цель — отфильтровать некорректные решения и обеспечить последующую работу только с обоснованными вариантами. Если устранить все логические ошибки и нестыковки не удалось, то в чистовом варианте ответа для пользователя должно быть примечание от модуля логической цензуры с перечислением выявленных ошибок.

Рецензирование и оценка качества решений. Черновые варианты, прошедшие проверку логической цензурой, поступают в рецензирующий модуль для многокритериальной оценки их качества и эффективности. Цель этого механизма — выявить сильные и слабые стороны каждого решения, оценить его потенциал и выбрать наиболее перспективные варианты для дальнейшей доработки или представления пользователю. Рецензирующий модуль оценивает решения по набору критериев, адаптированных под специфику задачи: точность, полнота, эффективность, оригинальность и др. Выводы рецензирующего модуля предоставляются пользователю и сохраняются в базе знаний системы для использования в будущих задачах и анализа эффективности различных подходов. Подчеркнем, что если модель логической цензуры выявляет в ответах только объективные, формальные ошибки и несоответствия, то рецензирующий модуль субъективно, неформально оценивает ответы по совокупности критериев и выставляет баллы по каждому критерию.

Интроспективный анализ использованных методов решения. После генерации решений и их оценки рецензирующим модулем вступает в действие интроспективный модуль, который анализирует саму задачу и использованные системой подходы, инструменты, алгоритмы, стратегии решения, а затем классифицирует саму задачу и использованное решение. Цель этого модуля — составить, условно говоря, паспорт решения, в котором будет указано, к какому типу и подтипу относится задача, каким методом задача была решена, с помощью каких инструментов, сколько было черновых попыток, какое время заняла генерация, и т. д. Конечно, однозначная категоризация задач и их решений невозможна. Но следует стремиться максимально усовершенствовать процесс категоризации, что важно в силу двух аспектов: а) необходимо от частных решений прийти к более абстрактному уровню — уровню способа решения; б) необходимо, чтобы модель, решая одну и ту же задачу, используя один и тот же способ (описание которого было составлено интроспективным модулем), получала бы один и тот же результат (подобно тому, как эксперимент считается корректно описанным, если независимая команда ученых, повторяя эксперимент по его описанию, получает тот же результат, который был получен первоначальной командой ученых, описавшей эксперимент).

Заключение

Интеграция ChatGPT-4 и других LLM в образовательный процесс может привести к глубоким изменениям в подходах к преподаванию физико-математических дисциплин. Например, К. Г. Уэст утверждает, что развитие технологий LLM «требует нового аудита того, какие именно концептуальные и математические навыки должны формироваться по итогу обучения» [16, с. 5].

ChatGPT-4 обладает обширной базой знаний и демонстрирует способность доступным языком представлять темы на школьном и базовом университетском уровнях. Его возможность вести продолжительные диалоги по конкретным предметам предлагает ценное дополнение к традиционным методам обучения, потенциально способствуя более глубокому пониманию сложных концепций. Эта гуманитаризация процесса обучения точным наукам может значительно улучшить понимание студентами изучаемых концепций.

Несмотря на успехи в концептуальном понимании, ChatGPT-4 уступает в областях, требующих строгих математических доказательств, вывода физических законов и последовательных логических рассуждений. Его убедительный стиль изложения иногда может маскировать неточности, что подчеркивает необходимость использования ChatGPT-4 студентами в качестве дополнительного инструмента наряду с лекциями и учебниками, а не как единственного источника информации.

Важно помнить, что технология LLM — это инструмент, который должен дополнять, а не заменять традиционные методы обучения. В конечном итоге цель заключается не только в передаче знаний, ноив формировании навыков самостоятельного мышления и стремления к истине, которые позволят человеку сохранить себя как личность в эпоху искусственного интеллекта.

Список источников

1. Капустина Л. В. ChatGPT и образование: вечное противостояние или возможное сотрудничество? / Л. В. Капустина, Ю. Д. Ермакова, Т. В. Калюжная // Концепт. 2023. № 10. С. 119-132.

2. Резаев А. В. ChatGPT и искусственный интеллект в университетах: какое будущее нам ожидать? /A.B. Резаев, Н. Д. Трегубова // Высшее образование в России. 2023. Т. 32, № 6. С. 19-37.

3. Cooper G. Examining science education in ChatGPT: an exploratory study of generative artificial intelligence / G. Cooper // Journal of Science Education and Technology. 2023. Vol. 32, №3.P. 444-452.

4. ChatGPT in education: global reactions to AI innovations / T. Fütterer [et al.] // Scientific reports. 2023. Vol. 13, №1.P. 15310. DOI: 10.1038/s41598-023-42227-6

5. Lo С. K. What is the impact of ChatGPT on education? A rapid review of the literature / С. K. Lo // Education Sciences. 2023. Vol. 13, № 4. P. 410. DOI: 10.3390/educ-scil3040410

6. Memarian В. ChatGPT in education: methods, potentials and limitations / B. Me-marian, T. Doleck // Computers in Human Behavior: Artificial Humans. 2023. Vol. 6, № 26. P. 100152.

7. Impact of the implementation of ChatGPT in education: A systematic review / M. Montenegro-Rueda [et al.] // Computers. 2023. Vol. 12, № 8. P. 153.

8. Pradana M. Discussing ChatGPT in education: a literature review and bibliometric analysis / M. Pradana, H. P. Elisa, S. Syarifuddin // Cogent Education. 2023. Vol. 10, № 2. DOI: 10.3390/computersl2080153

9. Whalen J. ChatGPT: challenges, opportunities, and implications for teacher education / J. Whalen, C. Mouza // Contemporary Issues in Technology and Teacher Education. 2023. Vol. 23, № 1. P. 1-23.

10. Wu Y. Integrating generative AI in education: how ChatGPT brings challenges for future learning and teaching / Y. Wu // Journal of Advanced Research in Education. 2023. Vol. 2, № 4. P. 6-10.

11. Calonge D. S. Enough of the chit-chat: a comparative analysis of four AI chatbots for calculus and statistics [Electronic resource] / D. S. Calonge, L. Smail, F. Kamalov // Journal of Applied Learning and Teaching. 2023. Vol. 6, № 2. DOI: 10.37074/jalt.2023.6.2.22

12. Educational data augmentation in physics education research using ChatGPT [Electronic resource] / F. Kieser [et al.] // Physical Review Physics Education Research. 2023. Vol. 19, № 2. DOI: 10.1103/PhysRevPhysEducRes.l9.020150

13. Large language models — valuable tools that require a sensitive integration into teaching and learning physics / S. Küchemann [et al.] // The Physics Teacher. 2024. Vol. 62, №5.P. 400-402.

14. Sperling A. Artificial intelligence and high school physics / A. Sperling, J. Lincoln // The Physics Teacher. 2024. Vol. 62, № 4. P. 314-315.

15. Pelton T. Using generative AI in mathematics education: critical discussions and practical strategies for preservice teachers, teachers, and teacher educators / T. Pelton, L. F. Pelton // Society for Information Technology & Teacher Education International Conference. Waynesville: Association for the Advancement of Computing in Education (AACE), 2024. P. 1800-1805.

16. West C. G. Advances in apparent conceptual physics reasoning in ChatGPT-4 [Electronic resource] /C. G. West//arXiv: 2303.17012 [physics.ed-ph], URL: https://arxiv. org/abs/2303.17012

17. Polverini G. How understanding large language models can inform the use of ChatGPT in physics education [Electronic resource] / G. Polverini, B. Gregorcic // European Journal of Physics. 2024. Vol. 45, № 2. URL: https://www.fmf.uni-lj.si/en/news/event/1501/ assoc-prof-dr-bor-gregorcic-u-uppsala-how-understanding-large-language-models-can-help-inform-their-use-in-physics-education/

18. Фейнман P. Фейнмановские лекции по физике. / Р. Фейнман, Р. Лейтон, М. Сэндс. М.: ACT, 2021. Т. VI (8-9).

19. Observation of the Phase Shift of a Neutron Due to Precession in a Magnetic Field / S. A. Werner [et al.] // Physical Review Letters. 1975. Vol. 35, № 16. P. 1053-1055.

20. Steane A. M. An introduction to spinors [Electronic resource] / A. M. Steane // arXiv:1312.3824 [math-ph], DOI: 10.48550/arXiv. 1312.3824; URL: https://arxiv.org/ abs/1312.3824

References

1. Kapustina L. V. ChatGPT and education: an eternal confrontation or a possible cooperation? / L. V. Kapustina, Yu. D. Ermakova, T. V. Kalyuzhnaya // Concept. 2023. № 10. P. 119-132.

2. Rezaev A. V. ChatGPT and artificial intelligence in universities: what future awaits us? / A. V. Rezaev, N. D. Tregubova // Higher Education in Russia. 2023. Vol. 32, № 6. P. 19-37.

3. Cooper G. Examining science education in ChatGPT: an exploratory study of generative artificial intelligence / G. Cooper // Journal of Science Education and Technology. 2023. Vol. 32, №3.P. 444-452.

4. ChatGPT in education: global reactions to AI innovations / T. Fütterer [et al.] // Scientific reports. 2023. Vol. 13, №1.P. 15310. DOI: 10.1038/s41598-023-42227-6

5. Lo C. K. What is the impact of ChatGPT on education? A rapid review of the literature / C. K. Lo // Education Sciences. 2023. Vol. 13, № 4. P. 410. DOI: 10.3390/educ-scil3040410

6. Memarian B. ChatGPT in education: methods, potentials and limitations / B. Me-marian, T. Doleck // Computers in Human Behavior: Artificial Humans. 2023. Vol. 6, № 26. P. 100152.