CC BY
9Т. 3 №3 2024 Vol.3 No.3
ISSN 2782-4934 (online) ISSN 2949-477X (print)
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
УДК 004.896
DOI 10.29141/2949-477X-2024-3-3-3
EDN KSZHIR
А.А. Ковалев\ А.В. Межуев2
'Национальный исследовательский технологический институт «МИСИС», г. Москва, Российская Федерация 2ГБОУ Школа № 429, г. Москва, Российская Федерация
Рекомендательная система выставления офферов в CRM розничного бизнеса кредитной организации
Аннотация. В современном мире финансовых услуг и банковской деятельности кредитные организации сталкиваются с растущей конкуренцией и необходимостью постоянно улучшать качество обслуживания клиентов. Системы CRM позволяют компаниям собирать, хранить и анализировать данные о клиентах, что помогает лучше понимать их потребности и предпочтения. Однако по мере роста клиентской базы и объема данных становится все сложнее вручную анализировать информацию и принимать решения о персонализированных предложениях для каждого клиента. Именно здесь на помощь приходят рекомендательные системы. В данной статье рассматривается применение различных рекомендательных систем выставления офферов продаж в CRM, так как универсального подхода для решения данной задачи нет. Проанализировано текущее состояние исследований в области рекомендательных систем и их применение в финансовой сфере. Предложены архитектура и алгоритмы для разработки такой системы, учитывающие специфику банковских данных и бизнес-процессов. Оценена эффективность рекомендательной системы в реальных условиях работы банка.
Ключевые слова: CRM; оффер; рекомендательная система; кредитная организация Дата поступления статьи: 15 мая 2024 г.
Для цитирования: Ковалев А.А., Межуев А.В. Рекомендательная система выставления офферов в CRM розничного бизнеса кредитной организации // Цифровые модели и решения. 2024. Т. 3, № 3. С. 47-59. DOI: 10.29141/2949-477X-2024-3-3-3. EDN: KSZHIR.
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
A.A. Kovalev1, A.V. Mezhuev2
'National Research Technological Institute «MISIS», Moscow, Russian Federation 2State Budgetary Educational Institution School no. 429, Moscow, Russian Federation
Recommendation system For billing offers in retail business CRM of a lending agency
Abstract. In the modern world of financial services and banking, lending agencies face increasing competition and the need to constantly improve the quality of customer service. CRM systems allow companies to collect, store and analyze customer data to help better understand their needs and preferences. However, as the customer base and the amount of data grow, it becomes more difficult to analyze information manually and make decisions on personalized offers for each customer. This is where recommender systems come to the rescue. This article discusses the use of various recommender systems for submitting sales offers in CRM, since there is no universal approach to solve this problem. The current state of research in recommender systems and their application in the financial domain is analyzed. The architecture and algorithms for developing of this system are proposed, taking into account the specifics of banking data and business processes. The effectiveness of the recommender system in real bank operating conditions is evaluated.
Key words: CRM; offer; recommender system; lending agency
Paper submitted: May 15, 2024.
For citation: Kovalev A.A., Mezhuev A.V. Recommendation system for billing offers in retail business CRM of a lending agency. Digital models and solutions. 2024. Vol. 3, no. 3. Pp. 47-59. DOI: 10.29141/2949-477X-2024-3-3-3. EDN: KSZHIR.
Введение
В настоящее время кредитные организации сталкиваются с растущей конкуренцией и необходимостью повышения эффективности продаж и маркетинговых стратегий. Одним из ключевых инструментов для достижения этих целей являются системы управления взаимоотношениями с клиентами (CRM) [1]. CRM-системы позволяют собирать, хранить и анализировать информацию о клиентах, их предпочтениях и поведении, что дает возможность персонализировать предложения и повысить удовлетворенность клиентов [2; 3].
Однако традиционные CRM-системы часто не справляются с задачей эффективного выставления офферов продаж из-за огромного объема данных о клиентах и продуктах,
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
а также сложности выявления индивидуальных предпочтений и потребностей клиентов. В связи с этим в последние годы активно развиваются и внедряются рекомендательные системы, которые способны автоматически генерировать персонализированные предложения для каждого клиента на основе анализа его профиля, истории взаимодействия с банком и других релевантных данных [4].
Рекомендательные системы уже успешно применяются в таких областях, как электронная коммерция, стриминговые сервисы и социальные сети, демонстрируя значительное повышение качества рекомендаций и удовлетворенности пользователей. Однако применение рекомендательных систем в банковской сфере и, в частности, в CRM кредитных организаций имеет свою специфику и сталкивается с рядом проблем и ограничений.
Одной из ключевых проблем является необходимость учета не только предпочтений клиентов, но и их финансового положения, кредитной истории и склонности к риску. Рекомендуемые продукты и услуги должны не только быть интересны и полезны клиенту, но и соответствовать его возможностям и потребностям. Другой проблемой является необходимость обработки и анализа больших объемов разнородных данных о клиентах, как структурированных (демографические данные, история транзакций), так и неструктурированных (запросы в службу поддержки, активность в мобильном приложении). Традиционные методы построения рекомендательных систем, такие как коллаборативная фильтрация и контентная фильтрация, не всегда способны эффективно справиться с таким разнообразием и объемом данных.
Кроме того, в банковской сфере особенно остро стоит проблема «холодного старта», когда по новым клиентам или продуктам накоплено недостаточно данных для формирования качественных рекомендаций. Это может приводить к неэффективному выставлению офферов и упущенным возможностям продаж [5].
Несмотря на эти проблемы и ограничения, применение рекомендательных систем в CRM кредитных организаций имеет большой потенциал для повышения эффективности продаж, удовлетворенности клиентов и конкурентоспособности банков. Так, в работе [6] предложена гибридная рекомендательная система для кросс-продаж банковских продуктов, сочетающая коллаборативную фильтрацию и демографическую кластеризацию клиентов. Эксперименты на реальных данных показали значительное увеличение показателя конверсии и точности рекомендаций по сравнению с традиционными методами.
Таким образом, можно сказать, что применение рекомендательных систем в CRM кредитных организаций является перспективным направлением, способным значительно повысить эффективность продаж и удовлетворенность клиентов. Однако для успешного внедрения и использования таких систем необходимо учитывать специфику банковской сферы, решать проблемы обработки больших данных, «холодного старта», прозрачности и объяснимости рекомендаций, а также обеспечивать безопасность и конфиденциальность данных клиентов. Дальнейшие исследования в этой области должны быть направлены на разработку новых методов и алгоритмов, учитывающих особенности банковского домена, а также на проведение экспериментов и оценку эффективности рекомендательных систем в реальных условиях.
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
Методы
Для исследования и поиска наилучшей модели были использованы следующие модели расчета рекомендаций:
- CatBoost (Categorical Boosting) - градиентный бустинговый алгоритм, разработанный компанией Yandex. Алгоритм CatBoost обладает рядом особенностей, которые делают его эффективным для работы с категориальными признаками и обеспечивают хорошее качество прогнозирования;
- гибридный алгоритм рекомендаций LightFM, который объединяет коллаборативную фильтрацию и индексацию контента для предсказаний рекомендаций. Основная идея LightFM заключается в представлении пользователей и элементов в виде векторов скрытых факторов (латентных представлений) в общем пространстве. Эти векторы обучаются таким образом, чтобы минимизировать ошибку предсказания взаимодействий между пользователями и элементами;
- градиентный бустинговый алгоритм XGBoost над решающими деревьями, впервые описанный Тянья Ченом и Карлосом Гуэ [7]. Он представляет собой реализацию градиентного бустинга, который строит композицию слабых моделей (обычно деревьев решений) итеративным добавлением моделей к ансамблю с учетом градиента функции потерь;
- Neural Collaborative Filtering - один из современных подходов к построению рекомендательных систем на основе нейронных сетей. Данный алгоритм был предложен исследователями из Национального университета Сингапура и Института инженеров электротехники и электроники [8];
- алгоритм DLRM [9], разработанный командой Facebook и являющийся глубокой нейронной сетью, которая эффективно обрабатывает как плотные, так и разреженные признаки;
- модель GRU4Rec [7; 10; 12; 13] является рекуррентной нейронной сетью, специально разработанной для работы с рекомендательными системами. Она основана на группе рекуррентных блоков (GRU), которые помогают модели запоминать и учитывать информацию о предыдущих действиях пользователей;
- SAS - существующий в кредитной организации алгоритм рекомендаций на основе SAS.
Поскольку в качестве оценок (таргета) в исходной матрице взаимодействий пользователей с банковскими продуктами использовался факт продажи банковского продукта после просмотра соответствующего баннера, то будет корректным использовать часто используемые метрики оценки качества рекомендаций. Перечислим их ниже.
Precision@k - метрика ранжирования (1), показывающая среднее количество релевантных объектов в топ-k предсказанных объектах:
1 к
Precision@k = Relevance@i. (1)
i = \
Данная метрика обладает следующими свойствами:
- интерпретируемость. Precision@k измеряет, насколько хорошо оценки порядка соответствуют фактическому порядку ранжирования;
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
- фокус на топ-k предсказаниях. Так как рекомендации носят ограниченный характер, важно знать их качество в зависимости от количества;
- отсутствие возможности учитывать место правильного ранжирования.
Метрика AveragePrecision@k (2) была создана для того, чтобы нивелировать основной недостаток Precision@K - отсутствие учета позиции, на которой было сделано правильное ранжирование:
к
J] (Relevance@k х Precision@k) AP@k= —--к-. (2)
^ Relevance@k
i = 1
Свойства метрики:
- учет позиции правильного ранжирования;
- линейный вклад в метрику каждой позиции, что приводит к тому, что разница между правильным ранжированием 1-го и 2-го объекта вносит такой же вклад, что и разница в ранжировании между 100-м и 101-м объектом.
Метрика MAP@k (3) была создана для того, чтобы оценивать качество рекомендаций на большом количестве пользователей. Поэтому является усредненным по пользователям значение метрики AP@k.
MAP@k = X AP@k(u). (3)
Для решения проблемы линейного вклада позиции в качество ранжирования были придуманы метрики DCG@k (4) и nDCG@k (5). DCG@k - это накопленная дисконтированная кумулятивная выгода по рангу.
к ry Relevance@i -1
DCG@k = I^^. (4)
Поскольку метрика DCG@k £ [0; ю), , то для того, чтобы можно было сравнивать значения между собой, была придумана метрика nDCG@k - нормализованная накопленная дисконтированная кумулятивная выгода по рангу:
"DCG»=d|!!b- (5)
Эффективность моделей при апробации измерялась с помощью метрики BtS (6), которая отражает усредненную по продуктам долю баннеров, по которым были совершены покупки к общему числу показов баннеров:
nto _ 1 у count deals„rodllct (6)
count productsp£^ct count users showed^,' (6)
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
Результаты
Рекомендательная система для выставления офферов на продажу банковских продуктов в кредитной организации является типовой для решения задачи рекомендаций на основе больших данных и представляет собой комплексное решение, включающее в себя несколько ключевых компонентов. Основными элементами системы являются хранилища данных, сервер обработки данных и сервер для работы с моделями машинного обучения.
Общий вид архитектуры рекомендательной системы представлен на рис. 1.
Рис. 1. Общий вид архитектуры рекомендательной системы
Рекомендательная система состоит из нескольких взаимосвязанных объектов:
- хранилище данных;
- сервер с нодами для обработки данных и обучения моделей машинного обучения;
- хранилища данных на основе Minio3, предназначенные для хранения различных типов данных, необходимых для работы рекомендательной системы (Minio3 позволяет организовать эффективное распределение данных по нескольким серверам, обеспечивая высокую доступность и отказоустойчивость).
Для обработки и анализа больших объемов данных в рекомендательной системе используется сервер на основе фреймворка Spark Hadoop, который позволяет оптимально разрабатывать датасеты большого размера.
Обучающий датасет изначально содержал в себе 1240 признаков, рассчитанных в разрезе каждого из 22 банковских продуктов для 9 миллионов пользователей. После очистки данных от пропусков, удаления признаков с низкой корреляцией (меньше 0,2 по модулю) и отбора признаков по значимости в датасете осталось 160 признаков. В эти признаки входили данные о транзакциях клиентов, о действиях в мобильном приложении, о купленных банковских продуктах, исторические данные о предложениях, сделанных клиенту, а также данные о фактических продажах и запланированных продажах банковских продуктов.
После обучения моделей были рассчитаны метрики качества ранжирования моделей (табл. 1).
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
Таблица 1. Значения метрик качества различных моделей на тестовых данных
Модель Значение метрики
MAP@5 nDCG@5
CatBoost 0,088 0,165
LightFM 0,090 0,169
NCF 0,076 0,140
LightFM + CatBoost 0,092 0,173
DLRM 0,079 0,139
GRU4Rec 0,092 0,171
SAS 0,072 0,120
Данные метрики были получены при тестировании обученных моделей на тестовых данных, которые представляли собой семплы из общего набора обучающих данных. Можно сделать вывод, что некоторые модели имеют низкое качество рекомендаций по сравнению с остальными. Так как модели DLRM и NCF имеют самое низкое качество на тестовых данных из всех моделей, было принято решение отказаться от них в продолжении исследования.
Также можно сделать вывод, что некоторые из предложенных к тестированию моделей, а именно LightFM и двухуровневая модель LigthFM+CatBoost, имеют более высокое качество, нежели используемые модели на основе SAS.
После этого было проведено тестирование моделей на отложенных по времени данных, т. е. были собраны данные по пользователям, которым в случайном порядке были предложены банковские продукты. Далее были получены данные о покупках этих клиентов, на основе которых были измерены следующие метрики, представленные в табл. 2.
Таблица 2. Значения метрик качества различных моделей на отложенных во времени данных
Модель Значение метрики
MAP@5 nDCG@5 BtS, %
CatBoost 0,070 0,127 -
LightFM 0,062 0,113 -
LightFM + CatBoost 0,082 0,136 7,89
GRU4Rec 0,076 0,128 7,41
SAS 0,069 0,110 7,18
Из результатов тестирования out-of-time можно сделать вывод, что наиболее качественными моделями являются GRU4Rec и LightFM+CatBoost. Эти модели и модель на основе SAS, являющаяся решением, которое необходимо заменить, будут использоваться при проведении А/В-тестирования.
Результаты проведенного A/B-тестирования представлены в табл. 3.
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
Таблица 3. Результаты A/B-тестирования
Модель Значение метрики BtS, %
LightFM + CatBoost 7,74
SAS 7,18
Результаты расчетов конверсии продаж (BtS) представлены на рис. 2. Белым цветом отмечено ожидаемое распределение конверсии продаж модели на основе SAS, а зеленым цветом - ожидаемое распределение конверсии продаж модели LightFM + CatBoost
а б
Рис. 2. Конверсии продаж модели SAS (а) и модели на основе LightFM + CatBoost (б)
Эффективность рекомендательной системы зависит от множества факторов, таких как качество и объем обучающих данных, выбор алгоритмов и их параметров, а также специфика предметной области. LightFM+CatBoost и SAS используют разные подходы к построению рекомендаций, что, вероятнее всего, внесло наибольший вклад в разницу работы моделей.
SAS является комплексной платформой для анализа данных и построения рекомендательных систем. Она включает в себя различные алгоритмы, такие как коллаборативная фильтрация, фильтрация на основе контента, ассоциативные правила и др. SAS позволяет гибко настраивать и комбинировать алгоритмы для достижения оптимальных результатов. Однако SAS по сравнению с LightFM и CatBoost может требовать больше ресурсов и знаний для настройки и оптимизации системы; кроме того, существующие ограничения в виде санкций не позволяют развивать инструменты SAS до уровня передовых решений рекомендательных систем на основе машинного и глубокого обучения.
Для определения статистической значимости результатов А/В-тестирования был проведен статистический анализ с использованием Z-теста для сравнения пропорций.
Были выдвинуты следующие гипотезы:
- нулевая гипотеза (H0): нет статистически значимой разницы в конверсии между моделью на основе LightFM+Catboost и моделью на основе SAS;
- альтернативная гипотеза (H1): существует статистически значимая разница в конверсии между моделью на основе LightFM+Catboost и моделью на основе SAS.
При проверке нулевой гипотезы были получены такие результаты Z-теста: Z-статисти-ка 3,8, р-значение 0,0001. При уровне значимости а = 0,05 р-значение (0,0001) меньше а,
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
что позволяет отвергнуть нулевую гипотезу и принять альтернативную гипотезу. Таким образом, мы можем сделать вывод, что разница в конверсии между моделью на основе LightFM+Catboost и моделью на основе SAS является статистически значимой.
На основе результатов А/В-тестирования можно сделать следующие выводы.
1. Модель на основе LightFM+Catboost продемонстрировала более высокую конверсию (7,74 %) по сравнению с моделью на основе SAS (7,18 %).
2. Разница в конверсии между двумя моделями является статистически значимой, что подтверждается результатами Z-теста.
3. Внедрение модели на основе LightFM+Catboost потенциально может привести к увеличению количества принятых офферов и, как следствие, к росту продаж и доходов кредитной организации.
Обсуждение
Исходя из результатов проведенного исследования, мы предлагаем использовать гибридный подход, основанный на комбинации моделей LightFM и CatBoost, так как данный алгоритм показал наивысшее качество по метрикам ранжирования, а после проведения A/B-тестирования на реальных клиентах кредитной организации доказал свою экономическую эффективность. Нужно отметить, что комбинирование данных моделей позволило получить следующие преимущества:
- учет скрытых факторов взаимодействия пользователей и офферов (LightFM);
- обработка разреженных признаков пользователей и офферов (LightFM);
- эффективное использование категориальных признаков (CatBoost);
- высокое качество прогнозирования релевантности оффера для пользователя (CatBoost).
Итоговое решение поставленной задачи разработки рекомендательной системы выставления офферов продаж в CRM кредитной организации состоит из следующих основных компонентов.
1. База данных, содержащая информацию о клиентах, продуктах и их взаимодействиях. Эта информация включает демографические данные клиентов, историю покупок, просмотры продуктов, отзывы и другие релевантные данные.
2. Модуль предобработки данных, который выполняет очистку, трансформацию и подготовку данных для использования в моделях рекомендаций. Этот модуль также отвечает за создание признаков (features) на основе доступных данных, которые будут использоваться в моделях LightFM и CatBoost.
3. Модель LightFM, которая строится на основе матрицы взаимодействий пользователей и продуктов, а также дополнительных признаков. LightFM использует методы матричной факторизации для обучения латентных представлений пользователей и продуктов, которые затем используются для генерации рекомендаций.
4. Модель CatBoost, которая строится на основе признаков, полученных из модуля предобработки данных и предсказаний модели LightFM. CatBoost используется для прогнозирования вероятности покупки продукта клиентом на основе его характеристик и истории взаимодействий.
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
5. API и интерфейс пользователя, которые обеспечивают доступ к рекомендациям для внешних пользователей и систем. API позволяет интегрировать рекомендательную систему с CRM-системой и другими компонентами ИТ-инфраструктуры организации, а интерфейс пользователя предоставляет возможность менеджерам и сотрудникам просматривать рекомендации и управлять ими.
Промышленную работу разработанной модели можно описать так:
- извлекаются признаки пользователя и доступных офферов;
- модель LightFM предсказывает вероятность взаимодействия пользователя с оффе-рами на основе матрицы взаимодействий и признаков;
- скрытые факторы пользователя и топ N офферов, выделенные моделью LightFM, передаются на вход модели CatBoost;
- модель CatBoost ранжирует офферы по релевантности пользователю на основе их признаков и скрытых факторов;
- топ K офферов с наибольшей предсказанной релевантностью рекомендуются пользователю.
Выводы и перспективы дальнейших исследований
В результате проведенного исследования по применению рекомендательной системы выставления офферов продаж в CRM кредитной организации, основанной на гибридном подходе с использованием моделей LightFM и CatBoost, были получены многообещающие результаты. По итогам AB-тестирования предложенная модель, сочетающая в себе преимущества коллаборативной фильтрации и градиентного бустинга, продемонстрировала превосходство над базовой моделью SAS, достигнув конверсии 7,74 % против 7,18 % у модели-конкурента.
Полученные результаты свидетельствуют о перспективности применения гибридных подходов в задачах рекомендательных систем для кредитных организаций. Комбинирование различных методов и алгоритмов машинного обучения позволяет учитывать множество факторов и признаков, влияющих на потребности и предпочтения клиентов, что, в свою очередь, ведет к повышению точности и релевантности рекомендаций.
Несмотря на достигнутые успехи, необходимо отметить, что данное исследование является лишь первым шагом на пути к созданию высокоэффективных рекомендательных систем в банковской сфере. Дальнейшие исследования могут быть направлены на решение ряда актуальных задач и проблем.
Во-первых, особого внимания заслуживает проблема «холодного старта», характерная для многих рекомендательных систем. Она заключается в сложности формирования рекомендаций для новых пользователей или продуктов, по которым отсутствует достаточное количество исторических данных. Для решения этой проблемы могут быть исследованы подходы, основанные на переносе знаний (transfer learning) из смежных доменов, использовании метаданных и контекстной информации, а также применении активного обучения с привлечением обратной связи от пользователей.
Во-вторых, актуальной задачей является повышение интерпретируемости и прозрачности рекомендательных моделей. Хотя модели на основе глубокого обучения и ансамблевых методов демонстрируют высокую эффективность, зачастую они являются «чер-
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
ным ящиком», что затрудняет понимание принципов их работы и факторов, влияющих на формирование рекомендаций. Разработка методов объяснения и визуализации работы моделей позволит повысить доверие пользователей и облегчить внедрение рекомендательных систем в бизнес-процессы кредитных организаций.
Наконец, важной задачей является оценка долгосрочного эффекта от внедрения рекомендательных систем. Помимо краткосрочных метрик, таких как конверсия и выручка, необходимо исследовать влияние персонализированных рекомендаций на лояльность клиентов, удовлетворенность сервисом и общую экономическую эффективность кредитной организации. Проведение долгосрочных А/В-тестов и анализ пользовательских кейсов позволят оценить стратегическую ценность рекомендательных систем и обосновать инвестиции в их развитие.
Подводя итог, можно сказать, что применение рекомендательной системы выставления офферов продаж на основе гибридного подхода LightFM+CatBoost показало многообещающие результаты и подтвердило перспективность использования передовых методов машинного обучения в банковской сфере. Дальнейшие исследования в этой области должны быть направлены на расширение набора признаков, решение проблемы «холодного старта», повышение интерпретируемости моделей и оценку долгосрочных эффектов от внедрения рекомендательных систем. Решение этих задач позволит создавать еще более эффективные и персонализированные решения для кредитных организаций, способствующие повышению удовлетворенности клиентов и росту бизнес-показателей.
Источники
1. Buttle F., Maklan S. Customer relationship management: concepts and technologies. 4th edition. London: Routledge, 2019. ISBN: 978-1-138-78983-8. DOI: 10.4324/9781351016551.
2. Anshari M., Almunawar M.N., Lim S.A., Al-Mudimigh A. Customer relationship management and big data enabled: personalization & customization of services // Applied computing and informatics. 2019. Vol. 15, iss. 2. P. 94-101. DOI: 10.1016/j.aci.2018.05.004.
3. Burke R. Hybrid recommender systems: survey and experiments // User modeling and user-adapted interaction. 2002. Vol. 12, iss. 4. P. 331-370. DOI: 10.1023/A:1021240730564.
4. Lu J., Wu D., Mao M. et al. Recommender system application developments: a survey // Decision support systems. 2015. Vol. 74. P. 12-32. DOI: 10.1016/j.dss.2015.03.008.
5. Son L.H. Dealing with the new user cold-start problem in recommender systems: a comparative review // Information systems. 2016. Vol. 58. P. 87-104. DOI: 10.1016/j.is.2014.10.001.
6. Zhu L., Xu D., Qian J. et al. A hybrid recommender system for banking products // IEEE Access. 2020. Vol. 8. P. 109649-109663.
7. Chen T., Guestrin C. Xgboost: a scalable tree boosting system // KDD '16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2016. P. 785-794. DOI: 10.1145/2939672.2939785.
8. He X., Liao L., Zhang H. et al. Neural collaborative filtering // WWW '17: Proceedings of the 26th International Conference on World Wide Web. New York: ACM, 2017. P. 173-182. DOI: 10.1145/3038912.30525698.
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
9. Naumov M., Mudigere D., Shi H.M. et al. Deep learning recommendation model for personalization and recommendation systems // ArXiv. 2019. URL: https://arxiv.org/ abs/1906.00091. DOI: 10.48550/arXiv.1906.00091.
10. Chung J., Gulçehre Ç., Cho K., Bengio Y. Empirical evaluation of gated recurrent neural networks on sequence modeling // ArXiv. 2014. DOI: 10.48550/arXiv.1412.3555.
11. Cho K., van Merriënboer B., Gulcehre C. et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). New York: ACL, 2014. P. 1724-1734. DOI: 10.3115/v1/D14-1179.
12. Prokhorenkova L., Gusev G., Vorobev A. et al. CatBoost: unbiased boosting with categorical features // Advances in Neural Information Processing Systems. 2018. Vol. 32. P. 6638-6648. EDN: NRYEVS.
13. Hidasi B., Karatzoglou A. Recurrent neural networks with top-k gains for session-based recommendations // CIKM '18: Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York: ACM, 2018. P. 843-852. DOI: 10.1145/3269206.3271761.
References
1. Buttle F., Maklan S. Customer relationship management: concepts and technologies. 4th edition. London: Routledge, 2019. ISBN: 978-1-138-78983-8. DOI: https://doi. org/10.4324/9781351016551
2. Anshari M., Almunawar M.N., Lim S.A., Al-Mudimigh A. Customer relationship management and big data enabled: personalization & customization of services. Applied computing and informatics. 2019. Vol. 15, iss. 2. Pp. 94-101. DOI: https://doi.org/10.1016/j. aci.2018.05.004
3. Burke R. Hybrid recommender systems: survey and experiments. User modeling and user-adapted interaction. 2002. Vol. 12, iss. 4. Pp. 331-370. DOI: https://doi. org/10.1023/A:1021240730564
4. Lu J., Wu D., Mao M. et al. Recommender system application developments: a survey. Decision Support Systems. 2015. Vol. 74. Pp. 12-32. DOI: https://doi.org/10.1016/j. dss.2015.03.008
5. Son L.H. Dealing with the new user cold-start problem in recommender systems: a comparative review. Information Systems. 2016. Vol. 58. Pp. 87-104. DOI: https://doi.org/10.1016/j. is.2014.10.001
6. Zhu L., Xu D., Qian J., Li Z., Zhang Y. A hybrid recommender system for banking products. IEEE Access. 2020. Vol. 8. Pp. 109649-109663.
7. Chen T., Guestrin C. Xgboost: a scalable tree boosting system. In: KDD '16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2016. Pp. 785-794. DOI: https://doi.org/10.1145/2939672.2939785
8. He X., Liao L., Zhang H. et al. Neural collaborative filtering. In: WWW '17: Proceedings of the 26th International Conference on World Wide Web. New York: ACM, 2017. Pp. 173-182. DOI: https://doi.org/10.1145/3038912.3052569
Управление, обработка информации и искусственный интеллект Management, information processing and artificial intelligence
9. Naumov M., Mudigere D., Shi H.M. et al. Deep learning recommendation model for personalization and recommendation systems. ArXiv. 2019. DOI: https://doi.org/10.48550/arX-iv.1906.00091
10. Chung J., Gul9ehre Q., Cho K., Bengio Y. Empirical evaluation of gated recurrent neural networks on sequence modeling. ArXiv. 2014. DOI: https://doi.org/10.48550/arXiv.1412.3555
11. Cho K., van Men^nboer B., Gulcehre C. ET al. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). New York: ACL, 2014. Pp. 1724-1734. DOI: https://doi.org/10.3115/v1/D14-1179
12. Prokhorenkova L., Gusev G., Vorobev A. et al. CatBoost: unbiased boosting with categorical features. Advances in neural information processing systems. 2018. Vol. 32. Pp. 6638-6648. EDN: https://elibrary.ru/nryevs (In Russ.)
13. Hidasi B., Karatzoglou A. Recurrent neural networks with top-k gains for session-based recommendations. In: CIKM '18: Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York: ACM, 2018. Pp. 843-852. DOI: https://doi.org/10.1145/3269206.3271761
Информация об авторах
Ковалев Александр Алексеевич, студент магистерской школы информационных бизнес-систем. Национальный исследовательский технологический институт «МИСИС», 119049, РФ, г. Москва, Ленинский пр-кт, 4, стр. 1. E-mail: [email protected].
Межуев Алексей Викторович, кандидат технических наук, учитель математики. ГБОУ Школа № 429, 105118, РФ, г. Москва, пр-кт Буденного, 15А. E-mail: alexeyvm@ list.ru.
Information about the authors
Alexander A. Kovalev, a student of the Master's School of Information Business Systems. National Research Institute of Technology «MISIS», 119049, Russian Federation, Moscow, Leninsky Ave., 4, bldg. 1. E-mail: [email protected].
Alexey V Mezhuyev, Candidate of Technical Sciences, Teacher of Mathematics. State Budgetary Educational Institution School no. 429, 105118, Russian Federation, Moscow, Budenny Ave., 15A. E-mail: [email protected].
