CC BY
36
Метод определения эмоционального состояния человека при помощи
чат-бота
Я.В. Куликова, Д.Л. Качалов Волгоградский государственный технический университет
Аннотация: В данной статье предлагается метод определения эмоционального состояния человека при помощи использования чат-бота. В статье даётся определение чат-боту, приводится обоснование выбора типа чат-бота, определяются основные принципы их работы. На основе выявленных различий в работе алгоритмов по определению текста чат-ботами, описывается наиболее подходящая технология для решения поставленной задачи - работа с нейронными сетями.
Ключевые слова: чат-бот, нейронная сеть, тональность текста, эмоции, дополненная реальность.
Введение
В настоящее время вся жизнедеятельность человека связана с мобильными технологиями, в частности, смартфонами и мессенджерами. Данная информация подтверждена множеством статистических исследований [1, 2]. Большинство организаций обязаны в своей работе придерживаться данных тенденций. Например, достаточно часто необходимо учитывать обязанность вести деловую переписку или требования к поддержанию связи с сотрудниками, находящимися на дистанционной работе. Поэтому необходимо максимально эффективно расходовать трудовые ресурсы и высвобождать время сотрудников за счет автоматизации их работы. Для достижения данной цели, эффективнее всего использовать интеллектуальные системы, такие, как чат-боты.
Чат-бот - это программа-собеседник [3]. Такая программа, чаще всего, направлена на поиск информации или на ведение элементарных диалогов с пользователем/клиентом организации [4]. Её цель - максимально «разгрузить» сотрудников, автоматизировать их работу в тех вопросах, в которых это возможно. За счет узкой направленности, многие чат-боты обладают ограниченным набором словарного запаса бота (комплект вопросов и ответов), что делает их не универсальными. Это является первой
проблемой ботов. Вторая проблема в том, что даже те чат-боты, которые разработаны для сферы услуг, преимущественно, не умеют определять эмоции текста собеседника. Такой робот не понимает состояния своего собеседника и совершенно не распознаёт, в какой момент человек может оказаться расстроен, начинает сердиться или раздражаться. А люди больше не захотят общаться с ботом, если его ответы/вопросы будут вызывать отрицательные эмоции. Для достижения максимально положительного восприятия приложения лучше всего использовать визуальное сопровождение. Технология дополненной реальности очень хорошо подходит для решения данного вопроса: эффект от взаимодействия с 3D-моделью дополненной реальности вызывает интерес и положительные эмоции.
Целью работы является повышение эффективности коммуникации между человеком и виртуальным помощником.
Для достижения данной цели, авторами предложен метод, позволяющий определять эмоциональное состояние человека путем сочетания чат-бота и технологии дополненной реальности. Для этого разработано приложение, которое анализирует диалог, определяет тональность текста и подбирает для ответа соответствующую эмоциональную 3D-модель.
Актуальность темы подтверждается востребованностью используемых технологий и универсальностью предлагаемого решения.
Новизна работы заключается в разработке методов, объединяющих технологию дополненной реальности и виртуальных помощников, а также в подходе к определению эмоциональной составляющей текста путём разработки метода многокритериального анализа.
М Инженерный вестник Дона, №9 (2022) ivdon.ru/ru/magazine/arcliive/n9y2022/7893
Предлагаемый метод обработки сообщений для определения эмоционального состояния диалога
Для достижения поставленной цели, необходимо решить задачи:
1) анализ предметной области;
2) разработка метода обработки сообщений;
3) проектирование и разработка приложения, объединяющего технологии AR и чат-ботов.
Анализ предметной области описан во введении данной статьи и подтверждает актуальность работы.
Для решения 2 и 3 задач необходимо:
- осуществить выбор вида чат-бота (простой или обучающийся);
- выбрать средства реализации чат-бота;
- создать алгоритм обработки сообщений пользователей;
- спроектировать схему, объединяющую работу чат-бота и дополненной реальности;
- разработать приложения, учитывающего описанные требования.
Авторами неоднократно были описаны виды чат-ботов [4], поэтому
стоит отметить то, что для решения задачи простые боты не подходят ввиду их ограниченности. Определение эмоций - сложная задача, которую сможет решить только сложный, обучающийся чат-бот [5].
Наиболее подходящим инструментом для разработки обучающегося чат-бота является нейронная сеть [6, 7].
Существующие решения по определению тональности текста имеют недостаток ввиду того, что производят анализ процентного соотношения позитивных и негативных показателей [8]. Для больших текстов сложности данная проблема не вызовет. Но для небольших диалогов, следующих друг за другом, необходимо проводить анализ текста по нескольким критериям
и
(многокритериальный), необходимо анализировать сообщения группами, друг за другом.
Таким образом, необходимо проводить не только нейросетевой анализ тональности каждого сообщения, но и анализ групп сообщений. Подобный анализ позволит учитывать изменения в ответах пользователя.
Для последовательного анализа сообщений и автоматической группировки их с целью анализа групп сообщений предложен алгоритм анализа и группировки, основанный на механизме нейронных сетей и их последовательного применения. Общая модель анализа диалога представлена на рис. 1.
Рис. 1. - Общая модель анализ диалога Из описанной модели видно, что анализ можно представить в виде последовательной обработки сообщений.
На рис. 2 приведён общий алгоритм работы метода. Пользовательский ввод обрабатывается на сервере (REST Web-приложение на Django/Python) и передаётся в модуль чат-бота, где и происходит дальнейшая обработка смысла и эмоциональной окраски сообщений пользователя, а также рассчитывается реакция ответа бота.
и
Рис. 2. - Общий алгоритм работы метода Общий алгоритм работы метода, представленного на рисунке 2:
1) Предобработка входящего сообщения, выделение ключевых слов и связей ;
2) Оценка целостности определения эмоции - выявление - достаточно ли данного сообщения для определения эмоции с учетом критериев;
3) Считывание следующего сообщения и повторение шагов 1 и 2 для следующего сообщения;
4) Связывание сообщений на основе времени отправки сообщения и на основе оценок приближения к эмоциональным критериям;
5) Оценка текста сообщения и построение ответа;
6) Проверка приближения к эмоциональному критерию - какой показатель выбирается для группы сообщений. Каждое последующее сообщение позволяет определить смысловую завершенность мысли пользователя и начале следующей;
7) При принятии решения о завершении обработки одной мысли пользователя на основе группы сообщений формируется метаинформация для описания эмоции и сохранении времени эмоции и оценок по группе эмоциональных критериев для конкретного пользователя;
8) На основе оценок групп сообщений формируется общий набор эмоций за определенный период для последующей оценки - на этом этапе автоматически определяется средняя продолжительность переписки пользователя (на основе предыдущих переписок пользователя) для того, чтобы сформировать метаинформацию с определенными эмоциями за время переписки.
Существует множество подходов к определению эмоций текста. Наиболее распространённой считается модель Экмана, выделившего 6 базовых эмоций (гнев, отвращение, страх, счастье, печаль и удивление). Но авторами выбрана модель Роберта Плутчика, которая называется «Колесо эмоций» (рисунок 3). В данной модели выделены не только базовые эмоции, но и более сильные, а также менее сильные эмоции, схожие по происхождению, а также собраны по парам противоположности. Таким образом, данная модель точнее отражает эмоциональные состояния, а реакция робота должна ощущаться более живой.
Любая нейронная сеть должна проходить этап обучения [9]. Обучение нейросети проводится в два этапа: с учителем и автоматически, по разработанному алгоритму.
и
Рис. 3. - «Колесо эмоций» Плутчика Для оценки ответа бота авторами анализируются критерии оценки сообщений, например валентность (положительные или отрицательные эмоции). Для определения данного критерия была разработана следующая формула:
где Кв - коэффициент валентности, wi - вес эмоции, Р-радость, У-удивление, Пл-печаль, Г-гнев,От-отвращение, Пр-презрение, С-страх
Одним из ключевых моментов разрабатываемого метода является формирование унифицированного интерфейса для постобработки метаинформации об эмоциональном состоянии пользователя.
Для работы с дополненной реальностью использована, наиболее подходящая для данной задачи, среда Unity 3D [10] с фреймоврком
дополненной реальности AR Vuforia. Разработанная ßD-модель представлена
Рис. 4. - 3D-модель приложения
Заключение
Описанный метод объединяет технологии интеллектуальных чат-ботов и визуализации данных путем использования технологии дополненной реальности. Метод позволяет определять тональность сообщений и формировать ответ пользователю в автоматическом режиме в зависимости от просчитанных показателей. Работа направлена на повышение эффективности коммуникации между человеком и чат-ботом, которая достигается путем автоматизации определения тональности текста сообщений, а также визуального сопровождения диалога при помощи технологии AR.
Работа выполнена при частичной поддержке РФФИ (грант 19-37-90060\19).
Литература
1. Humanity in the Machine
URL: mindshareworld.com/sites/default/files/MINDSHARE_HUDDLE_HUMAN ITY_MACHINE_2016.pdf (дата обращения: 14.12.2021)
2. Digital 2022 Russian Federation // Data Sources and Methodologies. URL: datareportal.com/ (дата обращения: 10.03.2022).
3. Мартынова И. Б., Шевелева О. Г. Обзор сервисов для создания чат-ботов // Потенциал российской экономики и инновационные пути его реализации : материалы всероссийской научно-практической конференции студентов и аспирантов: в 2 ч., Омск, 21 апреля 2020 года. - Омск: Финансовый университет при Правительстве РФ, Омский филиал, 2020. - С. 56-59.
4. Маслова М. А., Бажутова Д. А., Дмитриев А. С. Алгоритмы работы чат-бота для поиска товаров // Инженерный вестник Дона, 2021, №4. URL: ivdon.ru/ru/magazine/archive/n4y2021/6921.
5. Куликова Я.В., Орлова Ю.А., Розалиев В.Л. Разработка системы чат-бота с распознаванием эмоций // Программная инженерия: современные тенденции развития и применения (ПИ-2019) : сб. материалов 3-й всерос. конф., посвящённой 55-летию ЮЗГУ (г. Курск, 11-12 марта 2019 г.) / отв. ред.: Р. А. Томакова; Юго-Западный гос. ун-т. - Курск, 2019. - C. 138-143.1.
6. Орлова Ю.А., Розалиев В.Л. Обзор современных автоматизированных систем распознавания эмоциональных реакций человека // Изв. ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах". Вып. 10: межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2011. - No 3. - C. 68-72.
7. Короткий С. Нейронные сети: Основные положения. СПб, 2002. 357 с.
8. Гринченков Д. В., Горбушин Д. А. Методы оценки качества анализа тональности текста // Традиции русской инженерной школы: вчера, сегодня, завтра : Сборник научных статей по проблемам высшей школы, Новочеркасск, 24 ноября 2015 года. - Новочеркасск: Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, 2015. - С. 136-139.
9. Кабышев, О. А., Маслаков М. П., Кабышев А. М. Программная реализация алгоритма обучения нейронной сети // Инженерный вестник Дона, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6850.
10. Hocking Joseph. Multiplatporm Game Development in C#. Manning. Питер. 2019. - С. 21.
References
1. Humanity in the Machine URL: mindshareworld.com/sites/default/files/MINDSHARE_HUDDLE_HUMANITY_ MACHINE_2016.pdf (data obrashheniya: 14.12.2021)
2. Digital 2022 Russian Federation. Data Sources and Methodologies. URL: datareportal.com/ (data obrashheniya: 10.03.2022).
3. Marty'nova I. B., Sheveleva O. G. Obzor servisov dlya sozdaniya chat-botov [Overview of services for creating chat bots] Omsk: Finansovy'j universitet pri Pravitel' stve RF, Omskij filial, 2020. pp. 56-59.
4. Maslova M. A., Bazhutova D. A., Dmitriev A. S. Inzhenernyj vestnik Dona, 2021, №4. URL: ivdon.ru/ru/magazine/archive/n4y2021/6921.
5. Kulikova Ya.V., Orlova Yu.A., Rozaliev V.L. Razrabotka sistemy' chat-bota s raspoznavaniem e'mocij [Development of a chatbot system with emotion recognition]. Programmnaya inzheneriya: sovremenny'e tendencii razvitiya i primeneniya (PI-2019): sb. materialov 3-j vseros. konf., posvyashhyonnoj 55-letiyu YuZGU (g. Kursk, 11-12 marta 2019 g.). otv. red.: R. A. Tomakova; Yugo-Zapadny'j gos. un-t. - Kursk, 2019. - pp. 138-143.
6. Orlova Yu.A., Rozaliev V.L. Obzor sovremenny'x avtomatizirovanny'x sistem raspoznavaniya e'mocional'ny'x reakcij cheloveka [Overview of modern automated systems for recognizing human emotional reactions]. Izv. VolgGTU. Seriya "Aktual'ny'e problemy' upravleniya, vy'chislitel'noj texniki i informatiki v texnicheskix sistemax". Vy'p. 10: mezhvuz. sb. nauch. st. VolgGTU. Volgograd, 2011. № 3. pp. 68-72.
7. Korotkij S. Nejronny'e seti: Osnovny'e polozheniya [Neural networks: Basic provisions]. SPb, 2002. 357 p.
8. Grinchenkov D. V., Gorbushin D. A. Metody' ocenki kachestva analiza tonal'nosti teksta [Methods for assessing the quality of text sentiment analysis]. Tradicii russkoj inzhenernoj shkoly: vchera, segodnya, zavtra: Sbornik nauchny'x statej po problemam vy'sshej shkoly', Novocherkassk, 24 noyabrya 2015 goda. Novocherkassk: Yuzhno-Rossijskij gosudarstvenny'j politexnicheskij universitet (NPI) imeni M.I. Platova, 2015. pp. 136-139.
9. Kaby'shev, O. A., Maslakov M. P., Kaby'shev A. M. Inzhenernyj vestnik Dona, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6850.
10. Hocking Joseph. Multiplatporm Game Development in C#. Manning. Piter. 2019. 21 p.
