CC BY
0
Научная статья
УДК 004.853
DOI 10.25205/1818-7900-2024-22-4-17-32
Мультимедиалекция с интеллектуальным педагогическим агентом -новый подход к организации лекционной работы в вузе
Виталий Геннадьевич Казаков
Новосибирский государственный университет Новосибирск, Россия
Сочинский государственный университет Сочи, Россия
[email protected], https://orcid.org/0000-0002-0910-9315
Аннотация
Статья посвящена вопросам цифровизации лекционной формы работы в вузе. Показано, что ряд проблем, связанных с современными социальными и личностными трансформациями, ведет к снижению эффективности классической лекции. Предлагается новый подход к лекционному процессу, основанный на применении в учебном процессе мультимедиалекций с интеллектуальным педагогическим агентом. Показано, что применение таких лекций может способствовать повышению эффективности учебных занятий. Для практической проверки эффекта применения подхода осуществляется проектирование и реализация системы обучения, обеспечивающей создание и применение мультимедиалекций. Приводятся сведения об инфологической модели, положенной в основу системы, и ее облачной архитектуре. Описывается работа демонстрационного прототипа проигрывателя мультимедиалекций, включая функциональность педагогического агента. Делается вывод о возможности построения проигрывателя, включая функциональность педагогического агента, работающего на компьютерных устройствах бытового уровня. Приводятся планы дальнейших исследований.
Ключевые слова
учебная лекция, электронное обучение, мультимедиатехнологии, педагогический агент, интеллектуальный агент, искусственный интеллект, распознавание лиц, анализ и синтез речи
Финансирование
Исследование выполнено за счет финансовой поддержки (гранта) исследовательских центров, предоставленной Автономной некоммерческой организацией «Аналитический центр при Правительстве Российской Федерации», идентификатор соглашения о предоставлении субсидии 000000Б730324Р540002, договор о предоставлении гранта с Новосибирским государственным университетом от 27.12.2023 № 70-2023-001318.
Для цитирования
Казаков В. Г. Мультимедиалекция с интеллектуальным педагогическим агентом - новый подход к организации лекционной работы в вузе // Вестник НГУ Серия: Информационные технологии. 2024. Т. 22, № 4. С. 17-32. БО! 10.25205/1818-7900-2024-22-4-17-32
© Казаков В. Г., 2024
Multimedia Lecture with an Intelligent Pedagogical Agent -a New Approach to Organizing Lectures at a University
Vitaliy G. Kazakov
Novosibirsk State University, Novosibirsk, Russian Federation
Sochi State University, Sochi, Russian Federation
[email protected], https://orcid.org/0000-0002-0910-9315
Abstract
The article is devoted to the issues of digitalization of the lecture form of work at a university. It is shown that a number of problems associated with modern social and personal transformations lead to a decrease in the effectiveness of the classical lecture. A new approach to the lecture process is proposed, based on the use of multimedia lectures with an intelligent pedagogical agent in the educational process. It has been shown that the use of such lectures can help improve the effectiveness of training sessions. To practically test the effect of applying the approach, a training system is designed and implemented to ensure the creation and use of multimedia lectures. Information is provided about the information model underlying the system and its cloud architecture. The operation of a demonstration prototype of a multimedia lecture player, including the functionality of a pedagogical agent, is described. It is concluded that it is possible to build a player, including the functionality of a pedagogical agent running on consumer-level computer devices. Plans for further research are presented.
Keywords
Educational lecture, e-learning, multimedia technologies, pedagogical agent, intelligent agent, artificial intelligence, face recognition, speech analysis and synthesis
Acknowledgements
This work was supported by a grant for research centers, provided by the Analytical Center for the Government of the Russian Federation in accordance with the subsidy agreement (agreement identifier 000000D730324P540002) and the agreement with the Novosibirsk State University dated December 27, 2023 No. 70-2023-001318.
For citation
Kazakov V. G. On increasing the quality of the climate observations question-answering system's output data. Vestnik NSU. Series: Information Technologies, 2024, vol. 22, no. 4, pp. 17-32 (in Russ.) DOI 10.25205/1818-7900-2024-224-17-32
Введение
Родившись в Средние века, лекция и сегодня остается одной из основных форм учебной работы в университетах. За многие столетия она не претерпела существенных изменений. В то же время очевидно, что многие из основных задач, первоначально возлагаемых на лекцию, потеряли актуальность, поскольку могут в настоящее время эффективно выполняться другими способами.
Так, до массового внедрения книгопечатания конспектирование было способом фиксации знания. Конспект лекций потом мог использоваться своим создателем в течение всей его профессиональной деятельности, поскольку другие формы были труднодоступны и дороги. Распространение книгопечатания ликвидировало эту потребность. Сейчас результат конспектирования редко сохраняется после сдачи студентом экзамена по дисциплине, так как любые информационные материалы — учебные, научные, справочные и т. д. — доступны, например, в библиотечной системе, книготорговой сети, киберпространстве. В частности, практически по любой из дисциплин издаются десятки монографий, называемых «Лекции...», «Цикл лекций...» и т. п., созданные на основе реальных лекционных курсов.
С эпохи промышленной революции и до развития всемирной паутины лекция была средством передачи актуального научного знания, особенно в бурно развивающихся областях. Цик-
лы подготовки и издания научных журналов могли достигать многих месяцев, а сами журналы были труднодоступны. Публикация нового знания в виде научных монографий требовала, помимо прочего, включения в план издательства и занимала обычно не менее года. Учебники, которые издавались, как правило, основывались на опыте прочитанных курсов лекций, и от получения нового знания до его появления в печатной форме проходило уже несколько лет. Важным способом донесения нового знания до выпускников вузов были лекции, на которых профессора, владеющие последними научными результатами, изустно доносили их до студентов. Веб-сервис Интернет, запущенный Бернерсом Ли в 1989-1990 гг., обеспечил прямой и немедленный доступ к самым новым научным результатам, для публикации которых авторам требуется не более нескольких минут.
В связи с этим лекционная форма многим уже не кажется безусловно необходимой и подвергается критике за ряд недостатков, таких как отсутствие обратной связи, усредненность уровня сложности, возможность разной степени включенности в процесс. Хотя мнение, что лекционная форма занятий потеряла свою актуальность, не является сегодня исключительным, вузы еще не нашли альтернативных форм учебных занятий, которые могли бы заместить лекционную форму на практике [1]. Такое положение дел определяется тем, что эффективность лекции во многом зависит от способа передачи информации в ходе межличностного общения. В процессе лекции лектор может контролировать вовлеченность учащихся в учебный процесс, поддерживает мотивацию и внимательность. Таким образом, удобный и быстрый доступ к информации не может заменить классическую учебную лекцию, а любой формат учебных занятий, претендующий на такую роль, должен обеспечить личному участию лектора адекватную замену.
Помимо того, что появляются новые формы распространения информации, которые расширяют возможности обучения, сама лекционная форма работы в значительной мере потеряла свою эффективность. Такая потеря связана не собственно с самой методикой обучения, а с социальными и личностными трансформациями. Такими трансформациями выступают, например, изменение классической образовательной парадигмы на парадигму непрерывного обучения; изменения в ментальной сфере современного человека, такие как клиповое мышление и цифровая амнезия; повышение доступности высшего образования и процентный рост его носителей в обществе.
Цель данной работы — комплексно рассмотреть проблемы учебной лекции, вызванные современной социодинамикой, и возможные подходы к их преодолению. Для этого выделяются три наиболее важные проблемы лекционной формы учебной работы на современном этапе, формулируется новый подход к организации лекционной формы учебной работы в вузе, основанный на применении мультимедиалекций с интеллектуальным педагогическим агентом, и обосновывается его потенциальная эффективность; описываются проектные решения программной системы для создания и применения мультимедиалекций, соответствующие предложенному подходу. Наконец, описывается опыт построения программной системы, которая соответствует подходу, предложенному в статье, и проектным решениям, выполненным в соответствии с данным подходом. Обсуждается стек технологий и дизайн интерфейса, в том числе относящийся к функциональности педагогического агента - ассистента лектора, описываются наиболее принципиальные решения, приводятся сведения о построенном прототипе и его функциональности.
Современные проблемы лекционной формы работы
Хотя указанные выше трансформации - непрерывное образование, клиповое мышление и цифровая амнезия, повышение доли людей, получающих высшее образование, - на первый взгляд весьма различаются, на практике влияние всех этих трансформаций на лекционную
форму ведет к тому, что значительное количество учащихся не посещают лекционные занятия, не прилагают или не могут приложить достаточное количество усилий для усвоения учебного материала.
Поскольку в лекционном курсе, предполагающем систематическое изложение некоторой дисциплины, возможность понимания читаемого материала существенно зависит от уже пройденного, пробелы, получаемые из-за пропусков лекций или потери внимания, критичны. Они затрудняют понимание следующих лекций, что влияет на мотивацию к дальнейшим занятиям. Такая обратная связь приводит к крайне фрагментарному и поверхностному пониманию содержания курса.
Встает вопрос, в чем причина этих явлений? Как мы полагаем, существует ряд объективных проблем, связанных с указанными трансформациями, которые и приводят к такому результату. Три наиболее существенные мы здесь опишем.
Первую проблему возможно назвать «коллизией интересов». Она заключается в том, что представление об обучении в вузе, как главном профессиональном занятии студента, оказалось размыто. Распространенным стало мнение, что хорошо начинать трудовую деятельность как можно раньше, даже на первых курсах вуза, а получаемый на такой работе опыт будет только способствовать успешной учебе. Кроме того, с классическим вузовским обучением сегодня соседствует множество способов дополнительного образования и смежных мероприятий: всяческих инновационных школ, хакатонов, творческих семинаров и т. д. В таких условиях часто возникает коллизия: пойти в вуз на лекцию или на работу (на курсы ДПО, хакатон, конкурс...), которая далеко не всегда решается в пользу вуза. Заметим, что проблема «коллизии представлений» часто возникает у весьма мотивированных студентов, нацеленных на профессиональный рост.
Вторую проблему мы назовем «потерей мотивации». Она выражается в снижении готовности студентов к обучению, как в плане базовой грамотности, так и в части мотивированности. Хотя такое положение дел часто объясняют снижением общего уровня школьного образования, для объяснения потери мотивации таких допущений не требуется. В 1960-х годах в России в вузе студентом вуза становилось около 20 % выпускников, в настоящее время -более 60 %. Таким образом, ранее в вуз поступали студенты, прошедшие серьезный отбор и по уровню полученных знаний, и по мотивированности, и по психологической готовности к напряженному умственному труду и самодисциплине. Так, отбор 20 % всех выпускников соответствует нижней границе Щ приблизительно в 110-115 единиц, 60 % - 95-100 единиц, что является очень существенной разницей. Такую же значительную разницу можно предполагать в мотивированности и способности к умственному труду студентов этих двух временных периодов.
Наконец, третья проблема, назовем ее проблемой «снижения вовлеченности», заключается в том, что современный человек в своей массе значительно менее, по сравнению с людьми предыдущих эпох, готов к восприятию лекционной формы по ряду причин. Во-первых, привычка работы с современной информационной средой, наполненной более аудиовизуальными эффектами, чем рациональными аргументами, влечет за собой так называемое «клиповое сознание», опирающееся на яркие картинки с короткими комментариями и слабо подготовленное к восприятию теоретических конструкций [2]. Во-вторых, в условиях, когда информация легкодоступна по запросу в поисковых системах, ценность лекционного материала представляется учащемуся не слишком высокой, а ведущей стратегией выбирается отказ от запоминания сведений, которые можно найти в Сети. Такое поведение современного человека часто называют «гугл-эффектом», или «цифровой амнезией». Наконец, в-третьих, отсутствие привычки к систематической работе с информацией ведет к тому, что «. у людей ухудшилась память и способность к концентрации», и для них лекционный формат является тяжелым и утомительным [3].
Наиболее популярным ответом на современные проблемы учебной лекции в классическом формате стало использование видеолекций, которые получили достаточно высокую популярность в последние 10—15 лет, особенно в связи с новым видом обучения, получившим название массовых открытых онлайн-курсов (МООК) и развитием Интернета, обеспечившим свободный доступ широких категорий пользователей к видеолекциям [4].
На самом деле интерес к форме видеолекций существует в университетах со времени появления в них аппаратуры записи, воспроизведения и доставки видеосигнала. При наличии такой аппаратуры идея о возможности записи лекции с последующей организацией ее трансляции на целевую аудиторию лежит на поверхности. Одни из первых массовых применений видеолекций относятся к 60-м годам прошлого века и связаны с использованием инфраструктуры системы телевещания. Телевизионные лекции и основанные на базе ТВ-технологий телеуниверситеты решали важную проблему территориальной разделенности учащихся и обеспечивали возможность участия всем лицам, попадающим в зону телевещания, хотя проблема, связанная с определенным временным расписанием, не была решена кардинально. В то время появилось большое количество образовательных программ, курсов, проектов различных типов. Так, до настоящего времени действует телеканал English Club, специализирующийся на образовательных лекциях и передачах в области изучения английского языка.
Развитие телеуниверситетов во многом подготовило почву для использования видеолекций в системах дистанционного обучения, где они распространялись в аналоговом режиме на видеокассетах, цифровом - на CD-ROM и других цифровых носителях, а, с развитием технологий, и через Интернет. При этом в последнем варианте полностью исчезли какие-либо проблемы, связанные с временной разделенностью записи лекции и возможностью ее просмотра.
Рассмотрим, насколько видеолекция может решить все три описанные выше проблемы лекционной формы занятий. Мы уже обсудили, что при современном развитии ИКТ видеолекция доступна учащемуся без ограничений во времени и пространстве, что в значительной мере решает проблему «коллизии интересов». Однако заметим, что видеолекция отличается от очной лекции тем, что взаимодействие осуществляется по видеоканалу. Это накладывает определенные ограничения. Например, и лектор, и демонстрационный ряд (доска, где производятся записи, или экран, на котором отображается презентация) должны быть размещены в одном кадре. Как правило, качественная запись требует профессиональных усилий по съемке и монтажу, что обычно находится за рамками возможностей учебного заведения и тем более отдельного преподавателя.
Что касается проблемы «потери мотивации», то она, по всей вероятности, в видеолекции никак не решается. В самом деле, если учащийся не имеет достаточной мотивации, чтобы посещать очные лекции, непонятно, что сможет мотивировать его прослушивать видеолекцию. В то же время теряется возможность лектора влиять на мотивацию, например, через ведение журнала посещений.
Для проблемы «снижения вовлеченности» видеолекция также не является решением. У видеолекции отсутствуют видимые механизмы удержания внимания по сравнению с очной лекцией. В то же время теряется возможность лектора удерживать внимание аудитории, например, через диалоги или опросы.
Подход к лекционной форме занятий на основе мультимедиалекции
с педагогическим агентом
Для решения сформулированных выше проблем лекционной работы нами предлагается подход к модификации лекционной работы в вузе, позволяющей преодолеть рассмотренные выше проблемы. Подход является развитием формата видеолекции и основан на использовании новых информационных технологий, в том числе мультимедиатехнологий и технологий
искусственного интеллекта. В подходе применяются два принципиальных решения, связанные между собой.
Первым таким решением является замена видеолекции мультимедиалекцией. Одним из важнейших преимуществ видеолекции является то, что в ее основание положен видеоформат данных, что обеспечивает широкую интероперабельность. Такая лекция с учетом возможностей перекодирования между видеоформатами может быть подготовлена с помощью широкого круга аппаратных и программных средств, доставлена с помощью разнообразных носителей или Интернета и проиграна без установки дополнительного ПО на любом компьютерном устройстве, включая мобильные.
Однако в настоящее время возможности практически всех устройств, которые используются для просмотра видеоконтента, пригодны и для проигрывания мультимедиа, под которым мы традиционно понимаем использование разнородного медиаконтента (видео, аудио, графика и др.) под управлением интерактивного программного обеспечения. Универсальным клиентом как для проигрывания, так и для производства такой лекции вполне может быть стандартный веб-браузер с базовым набором возможностей, который сегодня имеется практически на любом устройстве, используемом для просмотра видео.
Переход от видео к мультимедиа дает два направления развития. Во-первых, можно существенно улучшить эффективность демонстрационного ряда лекции, применяя наиболее подходящий формат данных [5]. Так, форматы видео плохо приспособлены для отображения графики. Использование соответствующих графических форматов, особенно в сочетании с соответствующими инструментами (например, масштабирование), во многих случаях будет полезно. Причем дальнейшее разделение графики, скажем, на растровую для полутоновых изображений и векторную для различных диаграмм, чертежей и т. д., также способно усиливать эффективность демонстрации. Кроме этого, SD-графика, демонстрируемая с помощью соответствующих вьюверов, а не через запись видеофайла, существенно качественнее.
Во-вторых, поскольку мультимедиаформат предполагает внедрение управляющего программного обеспечения, то на это ПО могут быть возложены различные сервисы, помогающие работе с мультимедиалекцией. Например, это может быть предоставление навигационных средств работы с лекцией, таких как содержание, индексы, контекстный поиск и др.
Другим ключевым решением нашего подхода является использование интеллектуальных педагогических агентов. Термин «педагогический агент» мы будем использовать как метафору персонифицированного человекоподобного интерфейса между учащимся и учебным материалом образовательной среды [6; 7]. Принципиальная возможность использования педагогических агентов также основывается на наличии в мультимедиалекции программного компонента. Мы здесь не будем касаться обширного дискурса и многочисленных исследований, связанных с педагогическим агентом. Упомянем только, что эта концепция является проекцией программного ассистента на область учебной деятельности. Педагогический агент предназначен для моделирования типа взаимодействия между учеником и другим человеком. Такого агента можно определить как «персонажа, разыгрываемого компьютером, который взаимодействует с пользователем в социально привлекательной манере». Основная задача педагогического агента в рамках нашего подхода - выполнять педагогические задачи, которые в классической лекции выполнялись лектором, а в видеолекции были потеряны.
Характеристика «интеллектуальный» применена нами к педагогическому агенту, поскольку предполагается, что в технологии, на которых этот интерфейс основан, включен и ряд возможностей, которые обычно относят к технологиям искусственного интеллекта (ИИ). Вообще, реализация антропоморфного агента (в частности, педагогического) не требует обязательного обращения к технологиям ИИ. Примером этого могут служить многочисленные реализации чат-ботов, многие из которых представляют весьма несложные логические программы, успешно при этом имитируя диалоги. Однако представляется естественным для построения педагогических агентов использовать технологии искусственного интеллекта. При этом возникает
искушение в построении педагогического агента, который бы мог заместить преподавателя, в том числе и через участие в содержательных диалогах с учащимся на базе технологий обработки и понимания естественного языка (NLP, NLU). В этом направлении имеется множество теоретических исследований и некоторое количество интересных «лабораторных» реализаций (см., например, обзор О. И. Долгой [8]). В то же время сколько-нибудь массового использования педагогических агентов, выполняющих содержательные педагогические задачи на основе понимания естественного языка в учебном процессе образовательных организаций, не наблюдается, а перспективы такого использования остаются за рамками наших исследований.
Мы ставим перед педагогическим агентом, включаемым в состав мультимедиалекции, вполне конкретную и ограниченную задачу, не предполагающую от агента знания учебного материала хоть в каком-нибудь смысле. Эта задача полностью возлагается на материалы муль-тимедиалекции - видео лектора, читающего лекцию и демонстрационный ряд, используемый им при ее чтении. В задачи же педагогического агента входит мониторинг процесса изучения лекции: темп изучения, внимательность контроль за усвоением учебного материала, поддержка мотивации и внимания учащегося.
Разумеется, чтобы педагогический агент был способен заместить взаимодействие лектора со слушателями, имеющее место при очном формате лекции, он должен обладать достаточно развитыми возможностями взаимодействия с обучающимися, должен быть достаточно развитым интеллектуальным агентом в том смысле, как это понимается в исследованиях в области искусственного интеллекта. Такие возможностями могут основываться на способности видеть окружающую действительность, например, с помощью веб-камеры, и распознавать получаемые с камеры изображения, в том числе идентифицировать по изображению лица учащихся, определять их внимательность, эмоциональный настрой и другие визуальные параметры. Также для организации взаимодействия, хоть сколько-нибудь приближенного к реальному, интеллектуальному агенту необходимо обладать способностью двунаправленного речевого взаимодействия с учащимися, основанной на распознавании и синтезе речи. Это требует от нашего агента владения технологиями распознавания лиц, а также анализом и синтезем речи. Необходимо отметить, что современный уровень развития компьютерной техники и информационных технологий вполне позволяет реализацию таких возможностей для учебных систем, в том числе организованных, как веб-сервисы. При этом его действия напоминают работу простого чат-бота, действующего не по анализу содержания беседы, а по некоторому логическому алгоритму, зависящему не от смысла речи, а от совпадения распознанных слов со словарем ключевых.
Покажем, что предлагаемый подход потенциально способен решить рассмотренные выше проблемы лекционной формы, снижающие ее эффективность. Проблема «коллизии интересов» решается в рамках подхода так же хорошо, как и в видеолекции. Коллизия снимается тем, что мультимедиалекция может быть просмотрена (прослушана) в любое удобное для учащегося время и вне зависимости от его территориальной удаленности. Более того, интерактивное ПО делает просмотр мультимедиалекции существенно удобнее по сравнению с видеолекцией в тех случаях, когда слушателю требуется разбить ее изучение на несколько приемов или повторить какие-либо части. В то время как видеолекция лишена внутренней структуры, в муль-тимедиалекции возможно организовать содержание лекции с указанием длительности каждой части. Такая информация позволит слушателю планировать свою деятельность. Кроме того, мультимедиалекция может запоминать и подсказывать слушателю, какие из частей уже были им освоены, а какие еще предстоит изучить.
Как мы показали выше, проблема «потери мотивации» не решается удовлетворительно ни в классической лекции, ни в видеолекции. Лектор не может повторно читать лекции для отсутствовавших студентов. Студенты, не имеющие мотивации к учебе, не прослушают видеолекцию без контроля. Что касается мультимедиалекции, то педагогический агент мог бы такой контроль организовать. Например, агент мог бы выдавать студенту некоторый серти-
фикат о прослушивании мультимедиалекции. При выдаче такого сертификата агент мог бы основываться на том, прослушал ли студент лекцию, всю ли, лично ли, с должной ли степенью внимательности. Заключение об этом агент мог бы составлять, прежде всего, на основе распознавания лица (лиц) на сигнале с веб-камеры.
Кроме того, эффективным средством, страхующим от того, что студент присутствует при воспроизведении мультимедиалекции перед экраном веб-камеры, но занимается посторонними делами, могут быть экспресс-вопросы, задаваемые агентом слушателю лекции. Такие вопросы могут быть рассчитаны не столько на проверку усвоения лекционного материала, сколько на контроль внимательности слушателя, например, через вопросы, требующие простого воспроизведения сказанного. Алгоритм задавания вопросов может быть различным: в конце каждой части лекции или при обнаружении агентом потери внимательности. Правильный ответ на вопрос мог бы открывать возможность дальнейшего прослушивание мультимедиалекции, а неправильный - необходимость вновь прослушать предыдущий фрагмент. После прослушивания всех таких частей лекции педагогический агент мог бы отмечать ее как прослушанную. Мы полагаем, что для преодоления проблемы «потери мотивации» достаточно в качестве допуска к аттестации по курсу требовать, чтобы студент прослушал все лекции курса.
Наконец, мы полагаем, педагогический агент может эффективно бороться и с проблемой «снижения внимания». Собственно, уже упомянутый экспресс-опрос является первым инструментом удержания внимания: студент знает, что при прослушивании лекции он в каждый момент времени может получить вопрос о прослушанном, что заставляет его быть сосредоточенным. Но возможности педагогического агента для удержания внимания существенно шире. Он может удерживать внимание студента через управление ходом лекции в сочетании с речевыми диалогами. Так, если агент диагностирует усталость, апатию студента, он может инициировать диалог, спросив о состоянии студента и подбодрив его или предложив сделать короткий перерыв. Кроме того, фиксация хода освоения мультимедиалекции, выраженная в баллах или других измеряемых единицах, также мобилизует студента, поскольку наглядно представляет его прогресс и является, в некотором смысле, элементом геймификации.
Опыт проектирования и реализации системы, выполненной в рамках подхода
Формулировка подхода, данная нами выше, указывает общие принципы и функциональные возможности системы, но не определяет сколько-нибудь конкретно структуру данных и алгоритмы работы. Однако практическое подтверждение эффективности подхода может быть осуществлено только через его реализацию, которая требует определения конкретных структур данных и алгоритмов работы программного обеспечения, В этом разделе приводим основные решения ЛЕкционной МультиМедиа Аудитории (ЛЕММА) - нашей реализации подхода мультимедиа лекций с педагогическим агентом.
В ЛЕММА нами была определена инфологическая модель мультимедиалекции, сочетающая, на наш взгляд, необходимую функциональность с относительной простотой реализации. Выбранная конструкция имеет следующие основные решения в части организации учебного материала.
1. Структурной основой мультимедиалекции (далее Лекция), помимо названия и других метаданных, является упорядоченный список содержательных частей - секций. Программное обеспечение Лекции собирает названия секций и ее метаданные в интерактивное оглавление, обеспечивающее произвольный доступ к материалам Лекции с возможностью выбора секции для просмотра на основе информации о названии секции, ее кратком описании, длительности. Секция является неделимой содержательной единицей Лекции, в частности, посекционно фиксируется прогресс в освоении Лекции: секция может быть отмечена просмотренной (зачтенной) только полностью.
2. Основу каждой секции составляют фрагмент видео лектора и демонстрационный слайд, связанный с данным фрагментом. При просмотре секции на рабочем экране проигрывается в одном фрейме видеофрагмент лектора, а во втором демонстрируется слайд. При этом слайды Лекции не являются статичными, они обладают динамикой, зависящей от типа слайда (на программном уровне слайды являются объектами различных полиморфных классов с общими базовыми свойствами абстрактного слайда) и задаваемой лектором при записи секции. При записи секции лектор управляет динамикой слайда, которая, как и видео лектора, записывается, а при просмотре Лекции воспроизводится совместно с видео лектора. Видео лектора и динамика слайда при проигрывании секции синхронизированы так, как это было задано лектором при записи Лекции.
3. Хотя экран лектора и экран слайда могут казаться двумя синхронизированными видео, для реализации динамики слайдов в Лекции используется другой механизм: на экране слайда представляется сам слайд-объект, которому подаются команды управления в том же порядке и с такими же задержками, как это произошло при манипуляциях лектора в момент записи Лекции. Работа с такими слайдами-объектами вместо видео имеет множество преимуществ, одним из которых является снижение трафика для представления слайда, что уменьшает задержки и в ряде случаев (например, для векторной графики) улучшает качество слайда.
4. Полиморфизм слайдов включает в себя ряд общих методов. Во-первых, это методы записи команд управления (манипуляции) слайдом со стороны лектора. Хотя сам список команд и соответствующих им действий индивидуален для каждого класса слайдов (например, play/ pause для видео или зумм для графики), механизм записи команд и их тайминга (т. е. задержки относительно начала записи секции), а также их чтения и подачи слайду-объекту в необходимый момент времени, являются общими, т. е. наследуемыми от прототипа. Также общими являются методы приостановки и возобновления показа слайда, позволяющие приостанавливать и возобновлять показ секции учащимся при ее просмотре, и некоторые другие методы.
5. Работа со слайдами как объектами вместо видео дает возможность использовать слайд-объект как интерактивное средство обучения. В процессе просмотра секции со слайдом процесс просмотра может быть приостановлен и быть построен клон слайда-объекта. Этот клон может быть размещен в отдельном окне/фрейме экрана, снабжен элементами управления, связанными с данным типом слайда, и передан учащемуся для манипуляций. Через этот механизм демонстрационный ряд Лекции становится самостоятельным интерактивным обучающим элементом и поддерживает активную работу ученика с предоставляемым материалом. В самом простом случае ученик может копировать со слайда информацию, например, тексты, формулы, программные коды для дальнейшего использования в курсе. Кроме того, он может проводить учебные манипуляции с объектом, например, рассматривать объект на 3D-слайде, вращая и масштабируя его, что может быть актуально при анализе археологических артефактов или деталей механизмов.
6. С каждой секцией может быть связано одно или несколько заданий, которые могут быть заданы студенту после успешного просмотра секции. Задания могут быть вопросами с целью проконтролировать внимательность студента в ходе прослушивания секции, или упражнениями, являющимися элементами обучения, способом закрепления материала. Методика предъявления вопросов может быть определена в настройках Лекции и, в некоторых случаях и моментах, делегирована интеллектуальному агенту, о котором пойдет речь (если, например, агент видит, что студент часто отвлекается от прослушивания, ему задается больше вопросов).
7. Мультимедиалекция всегда прослушивается в контексте конкретного учащегося и состоит из просмотров (прослушиваний) секций и ассоциированных с ними заданий. В соответствии с заданными преподавателем параметрами просмотра Лекции учащемуся могут быть доступны различные режимы просмотра.
8. При этом результаты фиксируются и запоминаются, так что изучение Лекции учащимся может осуществляться в несколько этапов, до получения необходимого результата. В насто-
ящее время для демонстрационного прототипа реализован простейший алгоритм: просмотр секции оценивается в один балл, выполненное задание - также в один балл. Для того чтобы Лекция была зачтена как прослушанная, необходимо набрать определенное количество баллов.
Алгоритмы работы мультимедиалекции реализуются интеллектуальным педагогическим агентом, для которого в системе ЛЕММА используется метафора тьютора. Здесь этот термин трактуется так, как это принято в дистанционном обучении (в том числе его онлайн-вариан-те). Вообще, термин тьютор известен по крайней мере с XIII века, когда в Кембридже и Оксфорде зафиксированы упоминания об особой педагогической роли, в которой преподавательская деятельность сочетается с выполнением задач наставничества и опекунства. Поскольку при дистанционном обучении собственно преподавательские задачи передаются электронным средствам обучения - видеолекциям, системам педагогического тестирования и т. д., в дистанционном обучении за тьютором остаются задачи мониторинга процесса обучения, мотивирование подопечных, контроль освоения учебного материала и коррекция индивидуальной образовательной траектории. В ЛЕММА педагогический агент (далее Тьютор) реализует следующие основные алгоритмы.
1. Тьютор осуществляет биометрическую аутентификацию пользователя, используя технологию распознавания лиц. При начале работы с Лекцией, а также с каждой секцией Лекции осуществляется стартовая аутентификация, в процессе просмотра секции или выполнения задания - периодическая аутентификация пользователя. Аутентификация считается пройденной, если в изображении с веб-камеры распознано только одно лицо, которое соответствует лицу на фотографии, сохраненной в профиле учащегося.
2. В соответствии с результатами аутентификации Тьютор осуществляет допуск к материалам Лекции и ведет учет пройденного материала. Так, допуск к прослушиванию каждой секции требует успешной стартовой аутентификации. Секция засчитывается, только если учащийся прослушал секцию, а затем выполнил задание секции. При этом для того чтобы получить допуск к заданию, необходимо, чтобы аутентификация во время прослушивания была успешной не менее чем в 90 % случаев. В свою очередь, задание считается выполненным, если учащийся уложился в отведенное для задания время, ответ верный, а периодическая аутентификация за время выполнения задания была успешной в 90 % случаев. В том случае, если задание не выполнено, секция должна быть прослушана повторно.
3. Тьютор ведет учет прослушанных секций Лекции, запоминает результаты сеанса пользователя, загружает результаты в следующем сеансе того же пользователя, помечая прослушанные секции в содержании лекции. При прослушивании всех секций выставляет для данного учащегося в задании на прослушивание лекции статус «выполнено».
4. Тьютор поддерживает с учащимся постоянную речевую коммуникацию посредством голосового и/или текстового чата (по выбору учащегося). Тьютор информирует учащегося о стадиях прослушивания Лекции, зачете/незачете прослушивания секции или выполнения задания, причинах незачета, выдает другую существенную для учебного процесса информацию. Тьютор способен принимать голосовые команды управления интерфейсом и выполнять их.
5. Тьютор также способен применять возможность речевого анализа для проверки верности выполнения задания, ответ на который должен быть дан голосом (например, повторить строки стихотворения). В этом случае правильность ответа определяется по норме близости двух строк - строки ответа учащегося и эталонной.
Разумеется, так определенные модели мультимедиалекции и педагогического агента могут быть существенно расширены, однако, как мы полагаем, они вполне могут продемонстрировать эффективность развиваемого подхода.
В настоящее время автором описываемого проекта осуществляется разработка системы мультимедиалектория, выполняемая в рамках рассматриваемого подхода и в соответствии с представленной в предыдущем разделе моделью ЛЕММА.
В настоящее время нами получен конкретный результат: построен демонстрационный прототип ключевой компоненты программного обеспечения системы - проигрыватель (плеер) мультимедиалекции. Важность этой компоненты заключается в том, что она реализует основную функцию системы, а также что именно для этой компоненты действуют наиболее жесткие условия функционирования: для конечных пользователей системы - учащихся - необходимо обеспечить минимально возможные требования к аппаратной части, и в то же время именно она будет требовать наибольшее количество как вычислительных, так и сетевых ресурсов. Действительно, компьютерное устройство пользователя должно обеспечивать без задержек работу с мультимедиаконтентом в сочетании с работой модулей распознавания лиц, анализа и синтеза речи, а также передачу всех необходимых данных по сети. При этом мы должны ориентироваться на такие вычислительные и сетевые ресурсы клиентской стороны, которые де-факто имеются у подавляющего числа потенциальных пользователей.
Для того чтобы с помощью данного плеера можно было демонстрировать лекции, нам пришлось разработать и ряд скриптов, позволяющих такие лекции создавать, однако описание их реализации остается за рамками данной работы.
На современном уровне развития информационных технологий представляется наиболее оправданным создавать системы электронного обучения в виде интернет-сервисов. Большинство пользователей таких систем имеют доступ к каналам с достаточной коннективностью, а стандартные веб-браузеры сегодня обладают широкой функциональностью, включая работу с мультимедиаконтентом, современные императивные и декларативные средства программирования.
На первом этапе ПО строится в модели ПО как сервис (SaaS, Software as a Service) и реализуется как насыщенное интернет-приложение (RIA, Rich Internet Application). В качестве принципиальной архитектуры системы используется классическая трехзвенная клиент-серверная модель с SQL-сервером в качестве сервера баз данных, веб-сервером и комплектом PHP-скриптов в качестве сервера приложений и веб-браузером с DHTML в качестве универсального клиента.
Серверная часть ПО системы выполнена на инструментальном стеке LAMP. Код клиента - чистый HTML + JavaScript + CSS. Никаких PHP и JS-фреймворков, сторонних библиотек, за исключением библиотеки распознавания лиц1, не использовалось. Клиентская часть предполагает использование браузера Google Chrome, который поддерживает все необходимые возможности Java Script (в том числе интерфейсы File API и Web Speech API). Поскольку используются только стандартные возможности2, ПО должно работать и на других браузерах, в которых эти стандарты поддерживаются в необходимом объеме, однако тестирование для них не проводилось.
Проигрыватель вызывается из личного кабинета учащегося, а его входными параметрами являются логин слушателя и идентификатор выбранной для прослушивания Лекции. Демонстрационный прототип проигрывателя позволяет авторизованному пользователю просматривать мультимедиалекции и фиксирует полученные в ходе обучения результаты. В состав проигрывателя включена реализация тьютора, демонстрирующего работу с технологиями распознавания лиц, анализа и синтеза речи и основной функционал педагогического агента модели ЛЕММА: биометрическую авторизацию, голосовой и текстовый чат с учащимся.
Интерфейс программы состоит из главного окна и нескольких вспомогательных окон. Главное окно (рис. 1) состоит из трех областей: заголовка, рабочей области, области инструментов. В заголовке отображается название Лекции, имя и фамилия учащегося, авторизованного для работы с ней. Справа расположены три информационные области. В первой отображается результат текущей биометрической аутентификации, осуществляемой с периодом 1 секун-
1 https://justadudewhohacks.github.io/face-api.js/docs
2 Resources for Developers, by Developers. URL: https://developer.mozilla.org
Рис. 1. Главное окно проигрывателя мультимедиалекций Fig. 1. Main window of the player of multimedia lectures
да. Если аутентификация пройдена, то фон области имеет зеленый цвет, если нет - красный. Цветовое решение позволяет в процессе просмотра Лекции увидеть проблему (может быть вызвана жестом, закрывающим лицо, плохим освещением, выходом из кадра и т. д.) и скорректировать работу. Вторая область работает в режиме просмотра секции или выполнения задания и отображает интегральный процент успешных аутентификаций за период действия режима. Помимо отображения числового значения также используется цветовая градиентная индикация, где 0 % отражается красным, а 100 % - зеленым цветом области. Наконец, в третьей области отображается количество набранных слушателем баллов, приведенное к 100 %, максимально возможному в процентах.
В средней, рабочей области расположены три фрейма. В первом отображается содержание Лекции в виде списка секций, причем, просмотренные, но не засчитанные секции отображаются красным цветом текста, а засчитанные - зеленым. Выбор секции кликом мышки приводит к началу ее просмотра. Во втором фрейме отображается видео лектора, в третьем - демонстрируется слайд.
В подвале окна располагаются различные кнопки, активирующие инструменты работы с Лекцией. Первая группа - FIRST, PREV (previous), REPEATE, NEXT - позволяет выбрать секцию для прослушивания. Эти кнопки (как и содержание Лекции) не активны во время работы с секцией Лекции. Во время работы с секцией Лекции доступны кнопки PAUSE / RESTART, вызывающие приостановку Лекции, а также кнопку LAB, создающую клон слайд-объекта с инструментами управления и передающую его учащемуся так, как описано выше. Наконец, имеется кнопка SAVE, позволяющая сохранить промежуточные результаты работы. Также присутствуют две кнопки с иконками разговора и театральных масок, вызывающие вспомогательные окна «Чат» и «Аутентификация».
На рис. 2. представлены два вспомогательных окна. Окно слева внизу отображает сигнал с веб-камеры, используемый для биометрической аутентификации. В окне рамками отображаются области, распознанные как человеческие лица. Если лицо определено, как соответствующее профилю учащегося, авторизованного для просмотра Лекции, рамка помечается подписью с текстом логина учащегося. В противном случае - подписью undefined.
Окно справа отображает чат Тьютора с учащимся. В настоящее время чат используется Тьютором для передачи учащемуся информации, связанной с просмотром лекционного материала, например, с каким результатом учащийся выполнил задание. Информация сообщается Тьютором голосом и дублируется в чате. Учащийся в текущей реализации может управлять просмотром Лекции, отдавая команды голосом. Команды распознаются и также дублируются в чате в текстовом виде.
Рис. 2. Вспомогательные окна чата Тьютор - учащийся (справа) и биометрической авторизации (слева) Fig. 2. Auxiliary windows: chat Tutor - student (right) and biometric authorization (left)
Рис. 3. Окно выполнения задания Fig. 3. Job execution window
На рис. 3. представлено еще одно окно - окно задания. Оно предназначено для отображения задания, связанного с прослушанной секцией Лекции и его выполнения учащимся. Окно вызывается Тьютором после того, как он зафиксировал, что секция прослушана учащимся с соблюдением правил. Окно завершает работу после выполнения задания по нажатию студентом кнопки ОТВЕТИТЬ либо по истечению времени, отведенного на выполнение (10 секунд по умолчанию).
Наиболее важные результаты, полученные в ходе тестирования демонстрационного прототипа.
1. Продемонстрирована принципиальная возможность перманентной биометрической авторизации на основе технологии распознавания лиц по изображению с веб-камеры с работой алгоритма на стороне клиента без передачи видеопотока на серверную сторону.
2. Показана возможность использования стандартной JavaScript библиотеки Web Speech API для анализа и синтеза речи в организации речевой коммуникации педагогического агента с учащимся.
3. Определено, что при просмотре мультимедиалекции на компьютерных устройствах бытового назначения (персональных компьютерах, ноутбуках, планшетах, смартфонах) работа во всех режимах, включая одновременный просмотр видео в высоком разрешении, биометрическую авторизацию, работу модулей распознавания и синтеза речи, протекает без явных задержек.
Таким образом, показана возможность создания программной системы в формате RIA, обеспечивающей на компьютерных устройствах бытового уровня просмотр мультимедиалек-ций с интеллектуальным педагогическим агентом, выполненных в соответствии с описанным подходом.
Заключение
Таким образом, в работе получены следующие результаты.
1. Проведен анализ проблем лекционной формы работы в вузе, порожденных социальными трансформациями последних десятилетий. Показано, что популярный формат видеолекций снимает проблемы классической лекции, связанные с территориальной и временной удаленностью, но не обеспечивает необходимый контроль лекционного процесса, поддержку мотивации и внимания учащихся.
2. Предложен новый подход, основанный на применении в дистанционной лекции муль-тимедиатехнологий в сочетании с интеллектуальным педагогическим агентом.
3. Показано, что в рамках предложенного подхода могут быть эффективно преодолены проблемы лекционной формы работы, в том числе по контролю и поддержке мотивации учащихся.
4. Для практической проверки эффективности мультимедиалекций с педагогическим агентом на практике построена инфологическая модель системы ЛЕММА - создания и использования мультимедиалекций.
5. Начата практическая реализация системы, определены архитектура системы и стек технологий реализации. Построен демонстрационный прототип ключевой части системы - проигрывателя (плеера) мультимедиалекций, демонстрирующий возможность реализации подхода и его основные преимущества.
На основании проведенных работ и полученных результатов можно констатировать, что нами сформулирован новый подход к организации лекционной работы в вузе, основанный на использовании мультимедиатехнологий в сочетании с технологиями искусственного интеллекта, а также предложена и обоснована гипотеза, что применение данного подхода в вузе будет способствовать эффективности лекционной формы работы.
В дальнейшем планируется построение действующего полнофункционального прототипа системы, реализующей все средства, необходимые для производства и применения мультиме-диалекций. Действующий прототип предполагается применить в режиме апробации на отдельных занятиях и курсах в учебном процессе вузов и других образовательных задачах, например, курсах повышения квалификации, а также оценить эффективность такого применения и сформулировать методические рекомендации по использованию мультимедиалекций в образовательном процессе высшей школы.
Список литературы
1. Ибрагимов Г. И., Гайнутдинов Р. Г. Лекция в вузе: теория, история, практика: Монография. Казань: Школа, 2017. 196 с.
2. Маклюэн М. Галактика Гутенберга. Становление человека печатающего. М.: Академический проект, 2005. 496 с.
3. Carr N. Is Google making us stupid? - The Atlantic. July/August 2008. URL: https://web.lib. unb.ca/instruction/bcull/ARTICLES/Reading/GoggleCBCA.pdf (дата обращения: 06.05.2024).
4. Kaplan A. M., Haenlein M. Higher education and the digital revolution: About MOOCs, SPOCs, social media, and the Cookie Monster // Business Horizons. 2016. Vol. 59 (4). P. 441450. doi:10.1016/j.bushor.2016.03.008
5. Носков И. В., Казаков В. Г., Казаков В. В., Щеглов Ю. А. Веб-студия для создания и применения учебных мультимедиа лекций // Технологии информационного общества в науке, образовании и культуре: Тр. XVII Всерос. объединенной конф. «Интернет и современное общество» (IMS-2014). Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики; Библиотека Российской Академии наук. СПб., 2014. С. 343-346.
6. Chin D. B., Dohmen I. M., Cheng B. H., Oppezzo M. A., Chase C. C., Schwartz D. L. Preparing students for future learning with Teachable Agents // Education Tech Research Dev. 2010. Vol. 58 (6). P. 649-669. doi:10.1007/s11423-010-9154-5
7. Mabanza N., de Wet L. Determining the Usability Effect of Pedagogical Interface Agents on Adult Computer Literacy Training. E-Learning Paradigms and Applications // Studies in Computational Intelligence. 2014. Vol. 528. P. 145-183. doi:10.1007/978-3-642-41965-2
8. Долгая О. И. Искусственный интеллект и обучение в школе: ответ на современные вызовы // Школьные технологии. 2020. Вып. 4. С. 29-38.
References
1. Ibragimov G. I., Gainutdinov R. G. University lecture: theory, history, practice. Kazan', Shko-la publ., 2017. 196 p. (In Russ.)
2. McLuhan M. The Gutenberg Galaxy : the making of typographic man. Toronto, Canada: University of Toronto pkss6 1962, p. 293.
3. Carr N. Is Google making us stupid? - The Atlantic. July/August 2008.
4. Kaplan A. M., Haenlein M. Higher education and the digital revolution: About MOOCs, SPOCs, social media, and the Cookie Monster. Business Horizons, 2016, vol. 59 (4), pp. 441450. DOI:10.1016/j.bushor.2016.03.008
5. Noskov I. V., Kazakov V. G., Kazakov V. V., Shcheglov Yu. A. Veb studiya dlya sozdaniya i primeneniya uchebnykh mul'timedia lektsii. In: Tekhnologii informatsionnogo obshchestva v nauke, obrazovanii i kul ''ture. sbornik nauchnykh statei. Trudy XVII Vserossiiskoi ob"edinen-noi konferentsii «Internet i sovremennoe obshchestvo» (IMS-2014). Saint Petersburg,. 2014, pp. 343-346. (In Russ.)
6. Chin D. B., Dohmen I. M., Cheng B. H., Oppezzo M. A., Chase C. C., Schwartz D. L. Preparing students for future learning with Teachable Agents. Education Tech Research Dev., 2010, vol. 58 (6), pp. 649-669. DOI:10.1007/s11423-010-9154-5
7. Mabanza N., de Wet L. Determining the Usability Effect of Pedagogical Interface Agents on Adult Computer Literacy Training. E-Learning Paradigms and Applications. Studies in Computational Intelligence, 2014, vol. 528, pp. 145-183. DOI:10.1007/978-3-642-41965-2
8. Dolgaya O. I. Iskusstvennyi intellekt i obuchenie v shkole: otvet na sovremennye vyzovy. Shkol'nye tekhnologii, 2020, iss. 4, pp. 29-38. (in Russ.)
Сведения об авторе
Казаков Виталий Геннадьевич, кандидат физико-математических наук, доцент кафедры информационных технологий и математики Сочинского государственного университета, ведущий научный сотрудник Исследовательского центра в сфере искусственного интеллекта Новосибирского государственного университета Scopus ID: 8378777200 Researcher ID: T-6050-2017
Information about the Author
Vitaly G. Kazakov, Ph.D., Associate Professor, Department of Information Technologies and Mathematics, Sochi State University (Sochi), Leading Researcher at the Research Center in the Field of Artificial Intelligence, Novosibirsk National Research State University (Novosibirsk) Scopus ID: 8378777200 Researcher ID: T-6050-2017
Статья поступила в редакцию 15.08.2024; одобрена после рецензирования 04.12.2024; принята к публикации 04.12.2024
The article was submitted 15.08.2024; approved after reviewing 04.12.2024; accepted for publication 04.12.2024
