CC BY
4
УДК 004.891.2
DOI: 10.24412/2071-6168-2024-10-720-721
ПРИМЕНЕНИЕ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ И ТЕХНОЛОГИИ RETRIEVAL-AUGMENTED GENERATION ДЛЯ КОРПОРАТИВНЫХ АССИСТЕНТОВ
А.В. Шмат
Статья посвящена анализу использования больших языковых моделей и технологии Retrieval-Augmented Generation в корпоративных ассистентах, применяемых для автоматизации задач и поддержки сотрудников. Подробно рассматриваются возможности LLM в корпоративной среде, включая такие задачи, как автоматизация рутинных процессов, помощь в адаптации сотрудников, поддержка принятия решений и управление документами. Также описаны ключевые вызовы, связанные со снижением точности моделей при отсутствии актуализации данных и решением этой проблемы путем использования технологии Retrieval-Augmented Generation для извлечения актуальных данных из актуальных баз знаний. Рассматриваются стадии развития данной технологии и альтернативный способ повысить точность ответов большой языковой модели, называемый тонкая настройка. Также в статье рассмотрено, как технология Retrieval-Augmented Generation влияет на точность ответов трех популярных нейронных сетей и приведены примеры успешных внедрений больших языковых моделей с использованием технологии Retrieval-Augmented Generation.
Ключевые слова: большая языковая модель, генерация с дополненной выборкой, корпоративный ассистент.
За последние несколько лет технологии искусственного интеллекта и обработки естественного языка (NLP) достигли значительных успехов, что позволило расширить возможности больших языковых моделей и внедрить их в корпоративные процессы. С помощью этих моделей компании получили возможность автоматизировать задачи, требующие понимания и генерации текста на уровне, почти не отличимом от человеческого, что открывает новые перспективы для повышения производительности и оптимизации бизнес-процессов. В корпоративной среде LLM активно используются для решения рутинных задач, улучшения взаимодействия между отделами, поддержки клиентов, анализа данных и упрощения документооборота.
Тем не менее, применение LLM в корпоративных ассистентах сталкивается с рядом вызовов. Одной из проблем является склонность моделей к «галлюцинациям» — выходным данным, которые синтаксически и семантически правильны, но не связаны с реальностью и основаны на ложных предположениях [1]. Другой важный аспект — недостаток актуальности, так как модель часто не имеет доступа к свежей информации, особенно если она не обновлялась с момента обучения. Эти факторы ограничивают эффективность LLM, особенно при решении задач, требующих достоверности и актуальности данных.
Одним из перспективных решений этих ограничений является технология Retrieval-Augmented Generation (RAG), в русской литературе она называется генерация с дополненной выборкой. Данная технология интегрирует доступ к внешним базам знаний, что позволяет LLM дополнительно извлекать и использовать актуальные данные из корпоративных и внешних источников. Это позволяет LLM обеспечивать более точные и актуальные ответы, минимизируя вероятность ошибок и повышая качество обслуживания в корпоративной среде.
Материал. Корпоративные ассистенты, основанные на LLM, могут выполнять широкий спектр задач, которые помогают сотрудникам оптимизировать рабочие процессы и ускорить принятие решений. Ниже представлены возможные сценарии использования корпоративного ассистента:
Автоматизация повседневных процессов. Одной из ключевых задач корпоративного ассистента является автоматизация рутинных процессов. Это может включать управление расписанием, бронирование переговорных комнат, отправку уведомлений и выполнение простых запросов, таких как заказ канцелярии или формирование отчетов. Использование LLM позволяет упростить эти процессы, так как ассистенты могут не только выполнять команды, но и понимать сложные инструкции на естественном языке.
Поиск и представление информации. В современных корпорациях сотрудники сталкиваются с большим объемом информации, которая хранится в различных форматах и системах. Корпоративный ассистент на основе LLM может предоставлять релевантную информацию по запросу. Например, ассистент может помочь найти данные о продукте, информацию о корпоративной политике или актуальные проекты.
Адаптация новых сотрудников. Процесс адаптации новых сотрудников (онбординг) может быть сложным и длительным. Корпоративный ассистент на основе LLM может значительно упростить этот процесс, предоставляя информацию по внутренним процессам, правилам, а также направляя новых сотрудников к обучающим ресурсам. Это снижает нагрузку на отдел кадров и помогает новым сотрудникам быстрее адаптироваться.
Управление документами. Ассистенты на базе LLM могут автоматизировать процессы, связанные с управлением документами, такие как их создание, редактирование и согласование. Например, ассистент может сгенерировать черновик документа на основе существующих шаблонов и предоставленных данных, что существенно ускоряет рабочий процесс.
IT-поддержка. Часто сотрудники сталкиваются с техническими вопросами, решение которых требует обращения в отдел IT. Ассистент, основанный на LLM, может служить первой линией технической поддержки, отвечая на базовые вопросы, связанные с использованием корпоративных систем, установкой программного обеспечения и решением типичных проблем. Это снижает нагрузку на IT-отдел и ускоряет процесс решения проблем для сотрудников.
Все эти сценарии использования корпоративных ассистентов предоставляют значительные преимущества. Однако внедрение LLM в корпоративные ассистенты связано с рядом негативных факторов, которые необходимо учитывать при разработке и интеграции таких систем:
- Конфиденциальность. Корпоративные ассистенты могут обрабатывать чувствительную информацию, такую как персональные данные сотрудников, финансовые отчеты или внутренние документы компании. Это требует строгого соблюдения стандартов безопасности и защиты данных, включая шифрование информации и соответ-
720
ствие международным и региональным требованиям конфиденциальности.
- Актуальность данных. Одним из ключевых аспектов работы корпоративных ассистентов является актуальность предоставляемой информации. В корпоративных базах данных информация должна регулярно обновляться, чтобы LLM мог предлагать актуальные и достоверные ответы. В противном случае система может выдавать устаревшие или некорректные данные, что может привести к негативным последствиям для бизнеса [2].
- Галлюцинации LLM. Одна из проблем использования LLM заключается в их склонности к генерации так называемых "галлюцинаций". В корпоративной среде это может быть особенно критично, так как неправильная информация может привести к серьезным ошибкам [2].
- Сложность обучения. Для того чтобы ассистент мог эффективно работать в корпоративной среде, необходимо обучение модели на специфичных данных компании. Этот процесс может занять значительное время и потребовать больших ресурсов, особенно для крупных компаний с обширными базами данных и сложными внутренними процессами [2].
- Интеграция с устаревшими системами. Многие компании продолжают использовать устаревшие корпоративные системы, которые могут быть плохо совместимы с современными решениями на базе AI. Это создает дополнительные сложности при интеграции LLM в существующую инфраструктуру компании и может требовать доработки или замены устаревших систем [2].
Один из способов повысить эффективность корпоративных ассистентов на основе LLM — это интеграция их с корпоративными базами данных с использованием технологии Retrieval-Augmented Generation. Эта технология позволяет LLM не только генерировать ответы на основе своих внутренних параметров, но и обращаться к внешним источникам данных для получения актуальной информации [3]. Ниже на рисунке 1 представлено различие в ответе ассистента с использованием RAG и без него. Синие стрелки отображают работу ассистента без использования генерации с дополненной выборкой: запрос пользователя, генерация ответа. Черные стрелки отображают работу ассистента и использованием генерации с дополненной выборкой: пользовательский запрос, процесс индексации информации из документов и баз знаний, извлечение релевантных данных, генерация ответа.
Ответ без использования RAG
...Я ие расоопага княртип и не ногу
финансовым показателям дальневосточного, краснодарского и московского филиалов ._у
Ответ с использованием RAG
Нижа составлен отчет по финансовым
краснодарского и московское филиалов за 4 квартал в соответствии с установив»!ной в организации формой:... Для составления отчета
испопмоогиввд» данмо ю отчетны* документов филиалов, расположенных на портал« электронного
документооборота...
Вход
Запрос
Сформируй отчет показателям дальневосточного,
краснодарского и московского филиалов м 4 «
Выход Генерация ответа
Запрос
Сформируй отчет
московского
Запрос с данными
Сформируй отчет по
"Л
московского
мл рос используй
Фрагмент I: Отчет о П| Фрагмент 2: Отчет о прибылях и... Фрагмент 3: Отчет о прибылях и...
J
Индексации
Г
Документы и базы знаний
Извлечение
Зь
Во? коры
данных
rti
Набор данных
Извлечение релевантных данных из документов
фрзгидмт I ■ Отчет о прибыли* и убьлхах ЛЬЦМ "и" фцПг°Плй 43
4 гт)д. Присыпь. ЗЭОКОО. Рамды 14500» Тонн ixjcn.
фмгуект 2: Отче- о прибылях и yfltrtMA крас,|рд5рск«р фНГМЛ! > j 4 год Прйыг»: ко0000 Расколы 12НКХМ. 1вМП ркта 10Н%....
Фрагырнт 3: Отче' Р ЛрнбыЛЛх и
уСм-КЯИ UOCKp ЯСНОГО Н р ИЛ 11J Г J -Щ 4 ГОД
Прибыль глоото Рзсччзы ГН00» Темп рзста 19C4t...
Рис. 1. Возможный сценарий применения R4G и без него
Технология генерации с дополненной выборкой заключается в том, что модель LLM дополняется механизмом поиска и извлечения информации из внешних баз данных. При получении запроса от пользователя, ассистент не только использует свои знания, полученные при обучении, но и ищет релевантные данные в корпоративных или внешних базах. Это позволяет значительно повысить точность и актуальность предоставляемых ответов.
Теоретические основы. Парадигма Retrieval-Augmented Generation прошла несколько стадий развития, начиная с Наивного RAG и заканчивая Модульным RAG [3].
Наивный RAG — это первая версия методологии, которая возникла вскоре после появления LLM. Этот подход основан на трёх ключевых процессах: индексация, поиск и генерация. В рамках этого подхода текстовые данные в различных форматах преобразуются в текстовые фрагменты, которые кодируются в векторы и сохраняются в векторной базе данных [4]. Ниже на рисунке 2 изображен процесс работы Наивного RAG.
Описание работы Наивного RAG:
Индексация данных. Документы, хранящиеся в разных форматах, таких как PDF, HTML, или текстовые файлы, преобразуются в текстовые фрагменты. Эти фрагменты кодируются в виде векторных представлений с помощью специальных алгоритмов и сохраняются в векторной базе данных.
- Извлечение информации. Когда пользователь вводит запрос, система преобразует его в векторное представление и вычисляет схожесть запроса с фрагментами в базе данных. На основе этого производится отбор наиболее релевантных фрагментов.
- Обогащение запроса. Запрос пользователя дополняется информацией, найденной в базе знаний.
- Генерация ответа. После того как релевантные фрагменты найдены, они объединяются с запросом пользователя, и система на основе этих данных генерирует осмысленный ответ.
Пользовательский aar рос
Документы I' базы знаний
X
Индексация
I
Извлечение информации
Обогащение запроса е LLM данными из корпоративных источников
Генерация ответа
Выход
Рис. 2. Наивный RAG
К недостаткам Наивного RAG можно отнести:
1) возможность выбора нерелевантных фрагментов данных или пропуска важной информации;
2) риск того, что модель создаст несуществующий или искаженный контент, что в корпоративной среде может привести к серьезным ошибкам;
3) риск возникновения избыточности ответа и стилистическая согласованность при объединении информации из разных источников.
Продвинутый RAG был разработан для решения проблем, характерных для Наивного RAG. Основные улучшения направлены на повышение точности поиска и обработки данных [5]. Ниже на рисунке 3 изображен процесс работы Продвинутого RAG.
/ П ользовател ьс кий запрос а Документы и базы знаний ^ У
1
' Предварительное^1 извлечение псжыивдние .детализации У г
Индексация
оптимизация структур добавление метаданных смешанный поиск 1
Извлечение информации
г
Постизвлечение паоеранжироваьне фрагментов сжатие конт&хета л
> г
Обогащение запроса в LLM данными из корпоративных источников
> г
Генерация ответа
г
Выход
Рис. 3. Продвинутый R4G
Эта версия методологии по сравнению с Наивным RAG включает два ключевых улучшения:
722
- Предварительное извлечение. В продвинутом RAG улучшается структура индексации данных и сами запросы для поиска. Это позволяет более точно находить нужную информацию. Например, можно использовать метаданные для фильтрации информации, стратегию "скользящего окна" для анализа более длинных текстов и методы расширения запросов для более точного поиска.
- Пост-извлечение. Этот этап включает повторное ранжирование найденных фрагментов данных и сокращение объема контекста для улучшения качества предоставляемой информации. Это помогает устранить дублирование и повысить релевантность ответа.
Продвинутый RAG более эффективно решает проблемы, связанные с искажением информации, хотя всё ещё может столкнуться с трудностями при обработке крайне сложных или неоднозначных запросов [3].
Модульный RAG представляет собой еще более гибкую и адаптивную систему. Он добавляет новые компоненты, которые могут выполнять специализированные функции для повышения точности и релевантности ответов:
- Модуль поиска. Эта компонента отвечает за поиск в нескольких источниках данных одновременно, что позволяет ассистенту предоставлять более исчерпывающую информацию.
- Модуль памяти. Позволяет системе "запоминать" предыдущие запросы и ответы, что помогает более точно отвечать на последующие вопросы, особенно если они связаны с предыдущими темами.
- Модуль маршрутизации. Оптимизирует процесс поиска информации, направляя запросы в наиболее релевантные источники данных.
Это делает систему более универсальной и приспособленной к различным сценариям использования.
Модульный RAG также предлагает новые стратегии поиска и генерации ответов, которые делают процесс более эффективным и точным:
- Rewrite-Retrieve-Read. В этой стратегии LLM используется для исправления или переформулирования запроса перед его отправкой на поиск. Это повышает качество запроса и позволяет системе находить более релевантную информацию.
- Generate-Read. В этой стратегии вместо классического поиска используется сгенерированный контент. Это может быть полезно, если прямой поиск не даёт результата или запрос является слишком обобщённым.
Внедрение технологии RAG в корпоративных ассистентах с применением LLM приносит множество преимуществ, повышающих точность и эффективность работы системы:
1) позволяет решить проблему "галлюцинаций", поскольку ассистент с её использованием может извлекать релевантные данные из внешних источников;
2) предоставляет доступ к самым последним данным, что особенно актуально для корпоративной среды, где информация постоянно обновляется.
Используя модули поиска, RAG может интегрироваться с различными источниками корпоративной информации, включая базы данных, документы, внутренние системы управления знаниями и другие ресурсы. Это делает ассистента универсальным инструментом, который может обрабатывать запросы из разных сфер деятельности компании.
Несмотря на очевидные преимущества использования LLM и RAG в корпоративных ассистентах, подобные решения, доведенные до продуктивного использования, пока встречаются крайне редко. Связано это с тем, что внедрение таких систем сопряжено с рядом сложностей:
- Проблемы с интеграцией. Многие компании используют устаревшие или специализированные информационные системы, которые могут быть плохо совместимы с современными технологиями AI. Чтобы корпоративный ассистент мог эффективно работать, необходимо продуманное планирование интеграции с существующими системами, а также разработка интерфейсов, которые будут поддерживать взаимодействие между системами.
- Разрешение конфликтов и некорректной информации. При обработке данных из разных источников ассистент может столкнуться с конфликтной или противоречивой информацией. В таких случаях необходимы механизмы для выявления и разрешения конфликтов, а также для проверки достоверности информации [6].
Более распространенным способом повысить качество ответов LLM является fine-tuning (тонкая настройка). Fine-tuning — это процесс дополнительного обучения заранее LLM на конкретном наборе данных, обычно с более узкой задачей или в определённой области. Обычно LLM первоначально обучаются на огромных корпусах разнообразных текстовых данных, осваивая общие структуры языка, лексику и концепции. Fine-tuning адаптирует эту модель для улучшения работы в специализированных задачах за счёт дополнительного обучения на данных, относящихся к нужной области. Процесс fine-tuning предполагает следующие шаги [7-8]:
- Подготовка данных. Набор данных для fine-tuning, как правило, меньше, чем данные, используемые для первичного обучения, и он специализирован для конкретной задачи.
- Дополнительное обучение модели. LLM дополнительно обучается на этих специализированных данных, корректируя свои параметры и веса для лучшего понимания конкретной области.
- Валидация. Производительность модели проверяется на отдельном тестовом наборе данных, чтобы убедиться, что она хорошо обобщает новые знания в данной области.
- Развёртывание. Настроенная модель используется для решения специфических задач, таких как поддержка клиентов, медицинская диагностика или создание юридических документов.
Fine-tuning особенно эффективен для задач, где требуется точное понимание специфичной области. Например, модель, настроенная для работы с юридическими текстами, будет превосходить общие модели при интерпретации законов или подготовке юридических документов, так как она специализируется на юридической терминологии и дискурсе.
На основании вышеизложенного можно выделить различия между fine-tuning и RAG, представленные в
таблице 1.
Fine-tuning и RAG являются мощными инструментами, каждый из которых лучше всего подходит для разных сценариев использования. Fine-tuning идеально подходит для задач, требующих глубоких, специализированных знаний, где информация редко изменяется и модель может быть обучена на статичных данных. В то же время, RAG показывает свою эффективность в задачах, где важен доступ к постоянно обновляемым знаниям и внешним источникам данных. RAG обеспечивает гибкость и точность, снижая вероятность использования устаревших дан-
ных, что критически важно корпоративного ассистента. Точность ответа оценивалась на основании соотношения правильных ответов ко всем запросам.
Различия механизмов fine-tuning и RAG
Критерий Fine-tuning RAG
Механизм хранения знаний Знания хранятся в параметрах модели после обучения. Модель генерирует ответы на основе "памяти" о данных Модель извлекает актуальные данные из внешних источников в режиме реального времени при создании ответа
Гибкость модели Модель становится специализированной, но фиксированной и ограниченной знаниями, усвоенными при обучении Предоставляет гибкость, так как позволяет извлекать актуальную информацию для задач, требующих обновлений
Масштабируемость Для добавления новых знаний требуется повторное обучение, что может быть ресурсоёмким. Внешние базы данных могут обновляться независимо от модели, что упрощает масштабирование без повторного обучения
Задержка Ответы генерируются быстрее, так как нет процесса извлечения данных Присутствует небольшая задержка из-за необходимости извлечения данных перед генерацией ответа
Галлюцинации и достоверность Может создавать "галлюцинации" (правдоподобные, но неверные ответы), если данные неполные или устаревшие. Снижает вероятность галлюцинаций, так как ответы основываются на актуальных извлечённых данных
Благодаря особенностям работы данная технология стала важным компонентом в успешных внедрениях LLM в различных бизнес-сценариях. Компания PepsiCo успешно интегрировала LLM с RAG для решения задач, связанных с оптимизацией цепочек поставок и улучшением рыночного анализа. Технология Retrieval-Augmented Generation помогает анализировать свежие данные о поставках, хранении, логистике и спросе, извлекая их из корпоративных баз и внешних источников, что позволяет принимать более точные решения в реальном времени [9]. Ниже на рисунке 4 изображено верхнеуровневое представление работы RAG в PepsiCo.
Рис. 4. Верхнеуровневое представление работы R4G в PepsiCo
JetBlue использует RAG для создания эффективной платформы обслуживания клиентов, интегрированной с корпоративным сайтом авиакомпании. Модель LLM с поддержкой технологии Retrieval-Augmented Generation помогает автоматизировать ответы на запросы клиентов и повышать качество обслуживания, предоставляя актуальную информацию из множества внешних источников данных [9].
Компания novita.ai интегрировала RAG в свои продукты, что позволило улучшить качество генерации контента для клиентов за счёт использования релевантной информации, извлекаемой из их баз знаний. Благодаря RAG, novita.ai автоматизировала процесс обработки запросов к внешним документам и генерации контекстных ответов на основе этих данных [10].
Методы исследования. Для проверки эффективности работы технологии генерации с дополненной выборкой были рассмотрены три модели: YandexGPT, Gigachat, GPT-4 [11]. В качестве инструментов, реализующих логику RAG, использовались компоненты Langchain [12]. Корпус текстов состоял из данных по затратам на облачную инфраструктуру разных провайдеров, включая финансовые данные, такие как стоимость разных услуг и ресурсов, скидках и предложениях. Вопросы для запросов к LLM включали расчет прогнозируемой стоимости проектов, а также различные сравнительные характеристики провайдеров. Такие запросы могут отражать один их сценариев использования корпоративного ассистента на базе большой языковой модели. В качестве оценки ответов использовалась метрика точности как процент правильно данных ответов, соответствующих запросу.
Результаты исследования. Точность модели YandexGPT без дополнительной выборки из баз знаний составила 63%, тогда как с актуальными данными из собранного корпуса точность составила 79%. Для модели GPT-4 точность без дополнительной выборки составила 67%, а с актуальными данными точность выросла до 84%. Точность модели Giga chat без дополнительной выборки составила 64%, с актуальными данными точность составила 80%. Рисунок 5 демонстрирует увеличение точности языковых моделей при использовании RAG.
На рассмотренном примере технология генерации с дополненной выборкой заметно повышает точность языковых моделей, увеличивая ее на 15-17% за счет доступа к актуальным внешним данным. Такое улучшение особенно значимо для задач, требующих обновленной и достоверной информации.
90%
Hill
YandexGPT GPT-4 Gigachat
■ Точность с RAG ■ Точность без RAG Рис. S. Увеличение точности языковых моделей при использовании RAG
Заключение. Корпоративные ассистенты, основанные на больших языковых моделях и технологии RAG, представляют собой мощный инструмент, способный значительно повысить эффективность работы компаний. Они могут автоматизировать рутинные процессы, улучшить взаимодействие сотрудников с корпоративной информацией и сократить время на принятие решений.
Однако успешное внедрение таких ассистентов требует тщательного планирования и решения ряда важных вопросов, таких как адаптация моделей под специфику компании и интеграция с существующими системами. Технология RAG позволяет повысить точность и актуальность ответов, что делает корпоративные ассистенты особенно полезными в условиях изменяющегося бизнес-ландшафта.
В перспективе можно ожидать дальнейшего развития и адаптации технологий LLM и RAG, что сделает их ещё более эффективными и универсальными для применения в различных корпоративных сферах. Это позволит компаниям улучшить внутренние процессы, повысить производительность и адаптироваться к быстро меняющимся условиям глобального рынка.
Список литературы
1. Саджид Х. Что такое LLM-галлюцинации? Причины, этическая проблема и профилактика [Электронный ресурс] URL: https://www.unite.ai/ru/what-are-llm-hallucinations-causes-ethical-concern-prevention (дата обращения: 10.05.2024).
2. Шульгин Д. Проблемы Больших Языковых Моделей (LLM). Дискуссия на SMARTDEV 2023 [Электронный ресурс]. URL: https://bvtemag.ru/problemv-bolshih-vazvkovvh-modelej-llm-diskussiva-na-smartdev-2023-28752 (дата обращения: 10.05.2024).
3. Yunfan Gao, Yun Xiong, Xinvu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Meng Wang, Haofen Wang Retrieval-Augmented Generation for Large Language Models: A Survev [Электронный ресурс]. URL: https://arxiv.org/abs/2312.10997 (дата обращения: 10.05.2024).
4. Новиков И. Архитектура RAG: полный гайд [Электронный ресурс]. URL: https://habr.com/ru/companies/raft/articles/791034 (дата обращения: 10.05.2024).
5. Новиков И. Архитектура RAG: часть вторая — Advanced RAG [Электронный ресурс]. URL: https://habr.com/ru/companies/raft/articles/818781 (дата обращения: 10.05.2024).
6. Sivun Zhao, Yuqing Yang, Zilong Wang, Zhivuan He, Luna K. Qiu, Lili Qiu Retrieval Augmented Generation (RAG) and Bevond: A Comprehensive Survev on How to Make vour LLMs use External Data More Wiselv [Электронный ресурс]. URL: https://arxiv.org/abs/2409.14924 (дата обращения: 10.05.2024).
7. Кунцев Р. Fine-tuning больших языковых моделей в 2024 году [Электронный ресурс]. URL: https://habr.com/ru/articles/830414 (дата обращения: 10.05.2024).
8. Акимов И. Раскрывая секреты LLM: руководство по основным понятиям больших языковых моделей без хайпа [Электронный ресурс]. URL: https://habr.com/ru/articles/768844 (дата обращения: 10.05.2024).
9. Krause С. PepsiCo and JetBlue: Case Studies in Securing RAG LLM Deplovments [Электронный ресурс]. URL: https://cdotimes.com/2024/07/03/pepsico-and-jetblue-case-studies-in-securing-rag-llm-deplovments (дата обращения: 10.05.2024).
10. Step-bv-Step Tutorial on Integrating Retrieval-Augmented Generation (RAG) with Large Language Models [Электронный ресурс]. URL: https://blogs.novita.ai/step-bv-step-tutorial-on-integrating-retrieval-augmented-generation-rag-with-large-language-models (дата обращения: 10.05.2024).
11. Ilin I. Advanced RAG Techniques: an Illustrated Overview [Электронный ресурс]. URL: https://pub.towardsai.net/advanced-rag-techniques-an-illustrated-overview-04d193d8fec6 (дата обращения: 10.05.2024).
12. Build a Retrieval Augmented Generation (RAG) App [Электронный ресурс]. URL: https://pvthon.langchain.com/docs/tutorials/rag (дата обращения: 10.05.2024).
Шмат Алексей Вячеславович, [email protected], Россия, Москва, Российский технологический университет МИРЭА
80% 70% 60% 50% 40% 30% 20% 10% 0%
APPLICATION OF LARGE LANGUAGE MODELS AND RETRIEVAL-AUGMENTED GENERATION TECHNOLOGY
FOR ENTERPRISE ASSISTANTS
A.V. Shmat
The article analyses the use of large language models and Retrieval-Augmented Generation technology in corporate assistants used to automate tasks and support employees. LLM capabilities in the corporate environment are discussed in detail, including such tasks as automation of routine processes, assistance in employee onboarding, decision support and document management. Also described are the key challenges of declining model accuracy in the absence of up-to-date data and how this is addressed by using Retrieval-Augmented Generation technology to extract current data from up-to-date knowledge bases. The stages of development of this technology and an alternative way to improve the accuracy of large language model responses, called fine-tuning, are discussed. The paper also discusses how Retrieval-Augmented Generation technology affects the response accuracy of three popular neural networks and provides examples of successful implementations of large language models using Retrieval-Augmented Generation technology.
Key words: large language model, retrieval-augmented generation, corporate assistant.
Shmat Alexey Vyacheslavovich, [email protected], Russia, Moscow, Russian Technological University
MIREA
УДК 004.891
DOI: 10.24412/2071-6168-2024-10-726-727
АНАЛИЗ ВОЗМОЖНОСТЕЙ АВТОМАТИЗАЦИИ ПРОЦЕССА ПРИОРИТЕЗАЦИИ ПОЛЬЗОВАТЕЛЬСКИХ ЗАПРОСОВ
И.А. Лобзин
Данная работа посвящена исследованию возможностей автоматизации процесса приоритезации пользовательских запросов. В ней рассмотрены различные решения данного вопроса, включая эвристические подходы и различные методы машинного обучения. Последним в данной работе уделено особое внимание. Также подробно разобраны вопросы подготовки данных, лемматизация, извлечение именованых сущностей и так далее, приведены примеры существующих решений, реализующих указанные подходы.
Ключевые слова: автоматизация, приоритезация, системы Service Desk, пользовательские обращения, обработка естественного языка, NLP.
Одной из важнейших возможностей систем Service Desk является работа с обращениями пользователей. Объём и сложность обработки этих обращений зависит от множества факторов, но как правило перед многими крупными предприятиями рано или поздно встаёт вопрос о необходимости оптимизации работы с запросами [1]. В него же можно включить и приоритезацию: критические проблемы у ключевых клиентов должны решаться как можно скорее - в противном случае, предприятие понесёт финансовые и репутационные издержки.
Как указано выше, приоритет обращения пользователя является важным фактором при обработке большого количества запросов. В общем случае установка корректного приоритета требует анализа обращения специалистом. При установке приоритета такой специалист обычно опирается на ряд известных критериев. Однако даже при наличии чётко составленных инструкций определение приоритета может занимать значительное время [2]. Из этого следует, что указанный процесс имеет смысл пересмотреть и оптимизировать. В данной работе рассматриваются возможности использования для этих целей специально разработанных и настроенных автоматизированных систем, которые будут оценивать приоритет по заранее подобранным критериям, используя информационные технологии.
Наиболее простым вариантом будет добавление возможности указания приоритета при отправке. Если клиент при отправке обращения в специальном поле указал, что приоритет высокий, то именно в таком виде запрос далее и будет храниться в системе. Недостатком такого подхода является тот факт, что критерии, по которым пользователь будет определять приоритет, скорее всего будут слабо соотноситься с реальной приоритетностью обращения с точки зрения бизнеса. Это логично, ведь с точки зрения пользователя его обращение, как правило, имеет высокий приоритет.
Наиболее подходящим решением в этой ситуации будет создание автоматизированной системы такой, что будет определять приоритет на основании имеющихся данных запроса. К таким данным относится и информация, непосредственно отправленная самим клиентом, и автоматически определённые другими системами значения -например, категория запроса.
Простейшим вариантом реализации приоритезации является эвристический алгоритм, вычисляющий значение приоритета по некоторому набору подобранных правил. Например, все обращения, имеющие категорию «Инцидент», можно определять как высокоприоритетные и так далее. Главным преимуществом такого подхода является простота программной реализации. Главным недостатком - сложность выработки набора правил, который позволит системе определять приоритет с достаточной эффективностью [3].
Другим вариантом является определение приоритета на основании наличия в тексте обращения (тема и описание) ключевых слов из некоторого набора. К примеру, запросы, содержащие такие слова, как «срочно» или «экстренно», могут быть определены как высокоприоритетные. Данный подход может быть применён как отдельно, так и в совокупности с предыдущим. Простота реализации здесь также является главным преимуществом. Основным недостатком является потенциально низкая точность определения приоритета, так как высокоприоритетные запросы
726
