CC BY
80
Natalia Nikolaevna Kunitsyna,
Doctor of Economics, professor,
head of the department of finance and credit,
North-Caucasus Federal University, Stavropol
Yury Andreevich Metel,
postgraduate student of the department of finance and credit, North-Caucasus Federal University, Stavropol
УДК 336.7:339.138
Наталья Николаевна Куницына,
доктор экономических наук, профессор, зав. кафедрой «(Финансы и кредит», Северо-Кавказский федеральный университет,
г. Ставрополь
<«3» Natkun2004itfmail.ru
Юрий Андреевич Метель,
аспирант кафедры « Финансы и кредит», Северо-Кавказский федеральный университет,
г. Ставрополь
ПРИМЕНЕНИЕ МЕТОДА ИНТЕЛЛЕКТУАЛЬНОГО ТЕКСТОВОГО АНАЛИЗА В ОЦЕНКЕ УРОВНЯ УДОВЛЕТВОРЕННОСТИ КЛИЕНТОВ
КОММЕРЧЕСКИХ БАНКОВ
На основе обработки неструктурированных данных проведена оценка уровня удовлетворенности клиентов коммерческих банков Северо-Кавказского федерального округа. Одним из примеров подобных данных выступили отзывы реальных клиентов кредитных организаций. Для автоматизации процесса их сбора и первичной обработки реализована процедура WebScraping на основе высокоуровневого языка программирования общего назначения Python и процедуры стемминга с удалением стоп-слов. На следующем шаге исследования применено вероятностное тематическое моделирование на основе метода латентно-семантического анализа (Latent Semantic Analysis - LSA), позволившее выявить наиболее популярные темы. При этом формирование пространства тематик выполнено путем применения сингулярного разложения матрицы dtm. Тональность текста в отзывах определена с помощью подхода, основанного на машинном обучении с учителем (supervised learning) на базе метода k-ближайших соседей (K-Nearest Neighbors), в результате чего был получен PMML-код модели для последующей автоматизированной оценки отзывов. На основе выставленных оценок был рассчитан итоговый уровень удовлетворенности клиентов коммерческих банков.
Ключевые слова: коммерческий банк, клиент, отзывы, уровень удовлетворенности клиентов, интеллектуальный анализ текста, машинное обучение.
APPLYING THE METHOD OF INTELLECTUAL TEXT ANALYSIS IN ESTIMATING THE LEVEL OF CUSTOMER SATISFACTION
AT COMMERCIAL BANKS
The article presents the results of the analysis of the unstructured data that show customer satisfaction level of commercial banks of the North Caucasus Federal District of Russia. One of the sources of such data is responses of clients of credit institutions. To streamline the process of data collection and primary processing, the authors use WebScraping procedure based on a high-level general-purpose Python programming language and stemming with removal of stop words. At the next stage of the research, the authors apply probabilistic thematic modeling based the Latent Semantic Analysis method that helps reveal most popular topics. Subject areas are formed by applying singular expansion of the matrix-dtm. General attitude in the responses is defined using a supervised learning approach based on the K-Nearest Neighbors method resulting in a PMML model code for subsequent automated evaluation of the feedback. Those automated evaluations are used to identify the level of customer satisfaction of commercial banks.
Keywords: commercial bank, customer, reviews, customer satisfaction, intelligent text analysis, machine learning.
В современных экономических условиях на успешность бизнеса коммерческого банка существенное влияние оказывают лояльность и удовлетворенность его клиентов. Позитивное отношение потребителей к кредитной организации позволяет последней стать клиентоцентричной, свое-
временно внедрять новые продукты и сервисы, совершенствовать качество обслуживания. Зарубежные и российские кредитные организации в борьбе за лояльность активно запрашивают обратную связь от клиентов, оперативно реагируя на их претензии и пожелания.
150 ♦-
Вестник СГСЭУ. 2018. № 2 (71) -♦
Повсеместное распространение инфокоммуни-кационных технологий позволяет получать большие объемы данных, находящихся в свободном доступе, с сайтов информационных агентств, из новостных источников, социальных сетей, блогов и др. При этом немалая часть такой информации представлена в неструктурированном виде - в текстовой форме, что существенно затрудняет ее обработку и дальнейшее использование. В этой связи актуальность представляют экономико-статистические подходы к извлечению и анализу тематических неструктурированных данных из сети Интернет.
Одним из примеров подобных данных выступили отзывы клиентов о коммерческих банках Северо-Кавказского федерального округа, размещенные на информационном портале «Банки.ру». Для их обработки и анализа применена технология Text-mining (интеллектуальный анализ текста) - направление в искусственном интеллекте, целью которого является получение информации из массива текстовых данных с применением эффективных в практическом плане методов машинного обучения и обработки естественного языка.
Поскольку сбор отзывов и их последующее преобразование в необходимую форму - трудоемкий процесс, для его автоматизации применена процедура WebScraping (парсинг html-сайта) на основе высокоуровневого языка программирования обще-
го назначения Python с использованием python-библиотеки Requests и библиотеки для парсинга html-страниц lxml. В результате получены 522 отзыва за период с декабря 2015 г. по январь 2018 г. (табл. 1).
Проведенное исследование позволяет констатировать, что в целом за период с декабря 2015 г. по январь 2018 г. преобладают отрицательные оценки: 1 балл из 5 возможных - 301 отзыв (57,66%); вдвое меньше отзывов с оценкой 5 баллов - 144 (27,59%).
В результате первичного сбора информации сформирована коллекция документов для интеллектуального анализа текстов. В дальнейшем неструктурированный текст преобразован в структурированный путем исключения стоп-слов на основе русскоязычного и англоязычного словарей из программного комплекса Statistica 12, дополненных в процессе собственных исследований. Стоп-слова - это вспомогательные, не несущие смысловой информации слова: союзы, предлоги, артикли, а также общеиспользуемые термины, вводные слова, местоимения. Данный прием помог уменьшить размерность текста и привести его к единому виду. С этой же целью применена операция выделения основы слова - стеммниг [1; 3; 8; 9; 18] - эвристический процесс отбрасывания окончаний. Проведенная фильтрация позволила уменьшить исходные данные без потери их качества (табл. 2).
Таблица 1
Результаты веб-скраппинга отзывов с сайта информационного портала «Банки.ру» (фрагмент)
№ отзыва Заголовок Оценка Отзыв Банк Дата
1 Океан лжи и некомпетентности 1 Воспользовавшись информацией сайта banki.ru, решил оформить дебетовую карту... Восточный банк 12.01.2018
2 Потребительский кредит нет оценки Оформила потребительский кредит 09.01.2018 и мне его... ПАО Сбербанк 10.01.2018
3 Хорошая работа банка 5 Сотрудничаю с этим банком с начала 2017 г. Пользовалась следующими услугами. ЮниКредит Банк 08.01.2018
201 Банк отказывается оспаривать перевод нет оценки 23 января 2017 года мною был совершен перевод для оплаты покупки телевизора. Альфа-Банк 14.04.2017
202 Отличное обслуживание 5 Как получить ипотеку за 3 дня в ВТБ24? Очень просто: в первый день нужно принести документы, во второй день открыть счет, в третий день подписать договор и получить деньги. ВТБ 24 13.04.2017
203 Откровенный обман со страховкой 1 Мой отзыв относится к работе конкретного специалиста, занимающегося кредитными договорами и оформлением страховки в банке РН Банк в Ключ Авто Nissan Ставрополь... РН Банк 11.04.2017
522 Претензия 1 Здравствуйте! В Банке НБ «ТРАСТ» открыт кредитный договор сроком на 3 года. Национальный Банк «Траст» 01.12.2015
ISSN 1994-5094 151 ♦-♦
Таблица 2
Результат преобразования от зывов клиентов о коммерческих банках (фрагмент)
№ отзыва Текст отзывов после процедуры стемминга
1 file: 1 Indexedwords: информац сайт решоформ карт картоформ сайт получпоступ телефон мо дан вопрос сообщ имен карт такж дан карт течен дне отделен сообщбуд времен карт офис получ врем узна никак карт явля клиент дан отделен очен карт карт стал звон телефон котормно номер действ очен стал мо дан адрес дан котор лиц телефон сообщ никак клиент являспециалист карт след мо проблем долг специалист сообщин-формац отказа карт сотрудник нескольк минут вопрос пришл сказа никак отказ карт своврем дан отделен...
2 file: 2 Indexedwords: кредоформкред сайт дел получен смс времен звон горячлин сказа проблем ответ
3 file: 3 Indexedwords: работ этнача след услуг денежн средств кредитн карт момент мог несколькобслуживан сотрудник врем клиент говор случа дан клиент операц всем дал обслуживансвязнескольк дне телефон задол-жен карт этинформацэтвозможн процент сумм такж дел карт
522 file: 522 Indexedwords: претензкредитн договор год срок год решкред сумм погашен горяч линпозвон сумм заявлен креднескольк дне горяч лин сказа кредзакрнаписа заявлен итог офис ставрополнаписазаявлен погашен кредит нескольк звон горяч лин офис узнапочкред ответ итог сказа счет средств кредит написа нов заявлен счет звон горяч лин офис кредзакр счет претенз ответ вопрос друг другодн горяч линответ месяц закркред звон приход заявлен мо врем ...
Таблица 3
Терм-документная матрица отзывов о коммерческих банках (фрагмент)
№ отзыва Термин (term)
банкомат вопрос деньги звонок информация карты счет телефон услуга
1 0 2,013 0 1,594 2,885 2,612 0 2,717 0
2 0 0 0 1,594 0 0 0 0 0
3 0 0 0 0 1,704 1,613 0 1,295 1,863
201 0 0 1,128 0 0 0 0 0 0
202 0 0 1,128 0 0 0 1,316 0 0
203 0 2,013 0 0 0 0 0 0 0
522 0 1,189 0 3,346 0 0 2,762 0 0
Преобразованные слова в отзывах формируют терм-документную матрицу (document-term-matrix, dtm), которая представляет собой математическую матрицу, описывающую частоту терминов в собранной коллекции данных. В терм-документной матрице строки соответствуют документам в коллекции, а столбцы - терминам [17] (табл. 3).
Следующий шаг - вероятностное тематическое моделирование на основе метода латентно-семантического анализа (Latent Semantic Analysis - LSA), позволившее выявить наиболее популярные темы. LSA - полностью автоматический алгебраически-статистический метод обработки текстовой информации на естественном языке, который применяет-
ся для получения и представления контекстного использования значений слов в коллекции текстовых документов. Основная идея метода заключается в том, что совокупность всех текстовых документов коллекции приводит к взаимным ограничениям использования слов, которые и определяют сходство семантических значений слов и документов [6; 10; 11; 12; 13; 15; 16; 20].
Метод LSA основан на матричном представлении коллекции текстовых документов, получаемых с помощью модели «мешок слов» (Bag of Words). Формирование пространства тематик и тематического представления документов выполняется путем применения к полученной ранее матрице dtm
152 ♦-
Вестник СГСЭУ. 2018. № 2 (71) -♦
одного из матричных разложений. Наиболее популярным является сингулярное разложение (Singular Value Decomposition - SVD) [11; 14].
Формально тематическая модель коллекции текстовых документов C = (d1 сформирован-
ная на основе латентно-семантического анализа, представляется совокупностью (Lm, Wk, Hk), где Lm - словарь, содержащий m термов коллекции; Wk е RmXk - матрица отображения между пространством к тематик и пространством т термов; Нк = [if1,Нп] £Rkматрица представления документов в пространстве тематик.
Под совокупностью (Lm , Wk) понимается тематическое пространство.
Сингулярное разложение матрицы (SVD) A е RmXn (при условии m > n) определяется следующим образом [7; 14]:
A = U х Е х V' , (1)
где U е RmXn - матрица, столбцы которой представляют ортонормированную систему и называются левыми сингулярными векторами (и.);
X = diag (а,.....а ) е R'" диагональная матрица,
причем а% > ■■ ■ > аг > 0 = ar + 1 = ■■ ■ = ап.
г = rank(A) <min(m,n) - ранг матрицы А, а1 — сингулярн^1е числа матриц^1 А; Vе RmXn- орто-нормированная матрица, столбцы которой называются правыми сингулярными векторами (v).
Сингулярное разложение дает наилучшую аппроксимацию исходной матрицы А матрицей Ак = Uк X X VkT= 2|==1 Ст^^^ранга к minfm.n) в норме Фробениуса
= 1И12 = ^jâj") [14].
Следуя логике обработки данных, мы сформировали матрицу коллекции текстовых документов A е RmXn, где m - число различных термов, n - число документов. Каждыйj-й столбец матрицы А, соответствующий векторному представлению /-го документа, отображается в /-и столбец матрицы который представляет/-и документ в пространстве к тематик. Матрица Uk задает отображение между пространством к тематик и пространством m термов. Сингулярные числа а,, где 1 < l < к, обозначают вес каждой из выделенных тематик коллекции. Полученные результаты сингулярного разложения матрицы dtm представлены в табл. 4 и 5.
Таблица 4
Матрица представления документов в пространстве тематик (фрагмент)
Номер отзыва Concept 1 Concept 2 Concept 3 Concept 15 Concept 16 Concept 17 Concept 29 Concept 30 Concept 31
1 0,0693 0,0403 0,1271 -0,0083 0,0713 0,0127 0,0172 0,0866 0,0491
2 0,0137 0,0076 0,0337 0,0293 -0,0235 0,0042 -0,0192 0,0104 0,0040
3 0,0400 0,0278 0,0028 -0,0126 0,0076 0,0259 -0,0584 -0,0100 0,0122
201 0,0216 0,0036 0,0018 0,0272 -0,0104 0,0481 0,0406 0,0140 0,0543
202 0,0257 -0,0190 -0,0080 0,0289 0,0166 0,0469 -0,0624 -0,0198 -0,0462
203 0,0685 -0,0911 -0,0433 0,0697 -0,0527 0,0317 0,0083 0,0398 -0,0172
522 0,0429 -0,0247 0,0420 0,0053 0,0217 -0,0506 0,0044 0,0276 -0,0365
Термы Concept 1 Concept 2 Concept 3 Concept 15 Concept 16 Concept 17 Concept 29 Concept 30 Concept 31
Банкомат 0,0027 0,0145 -0,0130 0,0046 0,0092 -0,0030 0,0050 0,0008 0,0036
Вопрос 0,0025 0,0004 0,0050 0,0044 -0,0038 0,0099 0,0440 0,0015 -0,0163
Город 0,0016 0,0027 -0,0001 0,0098 0,0011 -0,0022 -0,0045 -0,0057 0,0008
Деньги 0,0028 0,0059 -0,0066 0,0025 -0,0034 0,0023 0,0015 -0,0065 -0,0037
Клиент 0,0028 0,0018 0,0026 -0,0062 -0,0061 0,0072 0,0056 0,0573 0,0305
Кредит 0,0032 -0,0089 0,0007 -0,0039 0,0014 -0,0061 -0,0081 0,0048 0,0146
Операция 0,0024 0,0082 -0,0039 0,0013 -0,0019 0,0036 -0,0063 -0,0021 0,0026
Оплата 0,0026 -0,0041 -0,0065 -0,0030 0,0048 0,0144 0,0176 -0,0029 0,0009
Отделение 0,0032 0,0053 0,0048 -0,0005 0,0023 0,0031 0,0079 0,0028 -0,0045
Отказ 0,0018 0,0000 0,0053 -0,0253 0,0141 -0,0101 -0,0075 0,0011 -0,0028
Услуга 0,0025 -0,0029 -0,0043 0,0035 -0,0088 -0,0100 0,0020 -0,0002 -0,0012
Таблица 5
Матрица отображения между пространством тематик и пространством термов (фрагмент)
IN
Q Qi
iu>
С
О
О
0,016 О 014 0,012 0,010 0 008 0 СОЕ O.OQ4 0,002 0 000 -0,002 -0,004 -0,006 -0,00В -0,010 -0,012 -0.014
банкомат
опбоа ция
деньги ---— гяпты
обслужуesьие НИУ -TJ
п рэопег^ спаучбо го^д о—- ____—-- ИНФООНЭШП «х 1С апнент \
о ; айт отказ SE СН OK & счет
жадэбЕ ка OL валют;
0- услуга документ О'о_/ опиата
пр^й (т
чплатез
ч ч^жаиг
арор
■ 1 - ■ ■ ■ ■
0 0012 D 0016 0 С020 0 0024 0 0028 0 0032 0 0036 0 0040 0 0014 0 0018 0 0022 0,0026 0,0030 0 0034 0,0038
Concept 1
Темы, выявленные путем применения метода Ь8Л, и взаимосвязь между ними
Путем сопоставления тем и отзывов клиентов в матрице размером 522*31 на пересечении строк и столбцов определена частота появления тем в отзывах. Затем на основе полученных частот построена матрица размерностью 31*31.
Визуальное представление выявленных тем и взаимосвязи между ними в графическом виде приведено на рисунке. При этом семантическая сеть выявленных тем исключает все ребра, имеющие корреляцию менее 20%.
Так, согласно рисунку, ряд тем можно объединить в группы:
1) расчетно-кассовое обслуживание (темы: вопрос, сотрудник, офис, клиент, обслуживание, операция, банкомат, деньги, карты, счет);
2) кредитование (темы: услуга, договор, кредит, процент, платеж, долг, оплата, валюта);
3) звонки (темы: жалоба, телефон, звонок);
4) отказ в обслуживании (темы: отказ, заявка);
5) обслуживание в офисе (темы: проблема; отделение).
Поскольку в результате веб-скраппинга отзывов с сайта информационного портала «Банки.ру» выявлено, что далеко не все отзывы клиентов содержат оценку по 5-балльной шкале (имеют оценку лишь 288 отзывов из 522), актуализируется перевод стиля, характера и содержания отзыва в балльную интерпретацию.
Тональность текста определена нами с помощью подхода, основанного на машинном обучении с учителем (supervised learning) на базе метода ¿-ближайших соседей (K-Nearest Neighbors). Его идея заключается в том, чтобы принимать решение
об отнесении нового документа к тому или иному классу не по всей выборке, а только по документу, который находится вне посредственной близости от классифицируемого текста. То есть, согласно правилу ближайшего соседа, новый документ XN+j относится к тому же классу Ок (к /.....К), к которому принадлежит его ближайший сосед X* [2]. Решающее правило имеет вид:
d(X;XN+1) = mmd(x;XN+1), для j = 1, ... N, (2)
где d - мера близости.
Для определения меры близости нами использовано Манхэттенское расстояние (расстояние городских кварталов) dt между двумя векторами p и q в и-мерном вещественном векторном пространстве с заданной системой координат - сумма длин проекций отрезка между точками на оси координат:
d&.q) = Wp-qW^^M-Qil С3)
где р = (PuPi^-.PJ и£г = (4i.ii.-jiJ -векторы.
На основе обработки 288 отзывов с уже выставленными оценками методом ¿-ближайших соседей получен PMML-код модели для определения оценки отзывов. PMML (Predictive Model Markup Language) - язык разметки для прогнозного моделирования на основе XML, разработанный Data Mining Group (DMG) и обеспечивающий приложениям способ определения моделей, относящихся к прогнозной аналитике и анализу данных, а также обмен такими моделями между PMML-совместимыми приложениями.
154 Вестник СГСЭУ. 2018. № 2 (71) -♦
Таблица 6
Оценка уровня удовлетворенности клиентов обслуживанием в коммерческих банках региона
Показатель Период Отклонения
2016 г. 2017 г.
в абс. вел. ед. доля, % в абс. вел. ед. доля, % в абс. вел. ед. в п. п.
Количество отзывов с оценкой 1 147 60,00 154 55,60 7 -4,40
Количество отзывов с оценкой 2 26 10,61 27 9,75 1 -0,86
Количество отзывов с оценкой 3 7 2,86 11 3,97 4 1,11
Количество отзывов с оценкой 4 2 0,82 4 1,44 2 0,63
Количество отзывов с оценкой 5 63 25,71 81 29,24 18 3,53
Общее количество отзывов 245 100 277 100 32
Количество уникальных авторов 245 277 32
Уровень удовлетворенности -5,3 -4,35 0,95
Л „ (ТРгх100 Щх100\ 0,45хС.х 100 0,2хЛ хЮ0
б,=--—г-1—г-(4)
где Б - показатель удовлетворенности; ТР. - количество положительных отзывов; ТЫ. - количество отрицательных отзывов; С. - общее количество отзывов; Л. - количество авторов.
Поскольку обучающая выборка отзывов имеет диапазон баллов от 1 до 5, оценка качества полученной модели произведена по всем 288 отзывам. Точность модели, рассчитанная путем определения доли верно выставленных значений в их общей совокупности, достигла 88,54%, что является достаточно высоким уровнем. Число существенных ошибок (расхождение более чем в 2 балла) составило 18 ед., или 6,25% от всей выборки.
Полученная модель в дальнейшем использована при выставлении баллов в отзывах, не имеющих оценки.
Интегрированный расчет уровня удовлетворенности клиентов обслуживанием в коммерческих банках региона проведен по формуле, предложенной экономическим агентством «Прайм» совместно с Brand Analytics [5] (см. формула 4).
При этом отзывы с оценками от 1 до 3 баллов отнесены к категории отрицательных, 4 и 5 балов -положительных (табл. 6).
Данные табл. 6 свидетельствуют об улучшении качества обслуживания клиентов в 2017 г. по сравнению с 2016 г., согласно изменениям в структуре оценок отзывов: наблюдаемый рост числа положительных отзывов (20 ед.) превышает рост отрицательных (12 ед.). Отмеченные изменения в результате повлияли на уровень удовлетворенности клиентов, который увеличился на 0,95 балла, однако по-прежнему остался отрицательным (-4,35). Следовательно, в целом клиенты не удовлетворены
обслуживанием в коммерческих банках СевероКавказского федерального округа, что должно найти отражение в разрабатываемых кредитными организациями клиентских политиках.
Таким образом, использование модели, позволяющей выявлять основные тематики, содержащиеся в отзывах клиентов коммерческих банков, а также автоматически оценивать по 5-балльной шкале уровень их удовлетворенности обслуживанием, является не менее важным и полезным для менеджеров, чем результаты непосредственных опросов и анкетирования. Их обработка и интерпретация призвана способствовать оперативному реагированию на проблемы, возникающие в процессе взаимодействия с клиентами.
1. Губин М.В., МорозовА.Б. Влияние морфологического анализа на качество информационного поиска // Консорциум «Кодекс». 2006. С. 95-100.
2. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.
3. Маннинг К.Д., Рагхаван П., Шютце Х. Введение в информационный поиск. М.: Вильямс, 2011.
4. Официальный сайт портала «Банки.ру». URL: http:// www.banki.ru/
5. Официальный сайт Агентства экономической информации «Прайм» и Аналитики информационного поля бренда «BrandAnalytics». URL: http://1prime.ru/projects/banks/
6. Choo J. et al. Utopian: User-driven topic modeling based on interactive nonnegative matrix factorization // IEEE transactions on visualization and computer graphics. 2013. Т. 19. № 12. P. 1992-2001.
7. Gong Y., Liu X. Generic text summarization using relevance measure and latent semantic analysis // Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval. New Orleans, Loisiana, United States. 2001. P. 19-25.
8. Harman D. How effective is suffixing? // Journal of the American Society for Information Science. 1991. № 42 (1). P. 7-15.
9. Hull D. Stemming algorithms - A case study for detailed evaluation // Journal of the American Society for Information Science. 1996. № 47 (1). P. 70-84.
10. Kuang D., Choo J., Park H. Nonnegative Matrix Factorization for Interactive Topic Modeling and Document Clustering // Partition Clustering Algorithms. Springer International Publishing, 2015. P. 215-243.
11. Landauer T.K., Dumais S.T. A solution to Plato's problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge // Psychological review. 1997. T. 104. № 2. P. 211-240.
12. Lee D.D., Seung H.S. Learning the parts of objects by non-negative matrix factorization // Nature. 1999. T. 401. № 6755. P. 788-791.
13. Lee J.H. etal. Automatic generic document summarization based on non-negative matrix factorization // Information Processing & Management. 2009. T. 45. № 1. P. 20-34.
14. Manning C.D., Raghavan P., Schutze H. Introduction to information retrieval. Cambridge: Cambridge university press, 2008.
15. Park S. et al. Multi-document summarization using weighted similarity between topic and clusteringbased nonnegative semantic feature // Advances in Data and Web Management. Springer Berlin Heidelberg, 2007. P. 108-115.
16. Park S. Personalized summarization agent using nonnegative matrix factorization // PRICAI: Trends in Artificial Intelligence. Springer Berlin Heidelberg, 2008. P. 1034-1038.
17. Salton G., Buckley C. Term-weighting approaches in automatic text retrieval // Information Processing and Management. 1988. № 24(5). P. 513-523.
18. Savtsova A.V., Maksimenko L.S., Godina O.V. Dynamic Approach to Strategic Analysis of the Innovative Environment of the Regional Socio-Economic System // Indian Journal of Science and Technology. 2016. T. 9. №. 16.
19. Sebastiani F. Machine Learning in Automated Text Categorization // ACM Computing Survey. 2002. № 34 (1). P. 1-47.
20. Steinberger J., JezekK. Text summarization and singular value decomposition // Advances in Information Systems. Springer Berlin Heidelberg, 2005. P. 245-254.
21. Xu W., Liu X., Gong Y. Document clustering based on non-negative matrix factorization // Proceedings of the 26th annual international ACM SIGIR conference on Research and development in information retrieval. ACM, 2003. P. 267-273.
