CC BY
16
УДК 004.8
DOI 10.18413/2411-3808-2019-46-3-553-562
АЛГОРИТМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПО ВЫБОРУ СРЕДСТВ ОБРАБОТКИ БОЛЬШИХ МАССИВОВ ЕСТЕСТВЕННО-ЯЗЫКОВЫХ ДАННЫХ
THE ALGORITHM OF DECISION SUPPORT IN THE CHOICE OF MEANS OF PROCESSING LARGE AMOUNTS OF NATURAL LANGUAGE DATA
К.А. Польщиков, О.Н. Польщикова, Е.В. Игитян, М.С. Балакшин К.А. Polshchikov, O.N. Polshchikova, E.V. Igityan, M.S. Balakshin
Белгородский государственный национальный исследовательский университет, Россия, 308015, г. Белгород, ул. Победы, 85
Belgorod National Research University, 85 Pobedy St, Belgorod, 308015, Russia
E-mail: [email protected], [email protected], [email protected]
Аннотация
Статья посвящена обеспечению выбора анализаторов текстов, позволяющих обрабатывать большие естественно-языковые массивы для принятия эффективных управляющих решений. Представлен обзор программных анализаторов текстов и предложен алгоритм поддержки принятия решений по выбору средств обработки массивов больших данных на естественном языке. В процессе работы алгоритм использует программу для оценки эффективности анализаторов текста. Эта программа основана на использовании системы нечеткого выбора, которая служит для расчета интегрального показателя эффективности анализатора текста. При оценке эффективности анализаторов текста учитываются качество и эффективность получения ответов на тестовые вопросы.
Abstract
This article presents an overview of the program text analyzers and proposes an algorithm to support decision making on the choice of solutions for processing large arrays of natural language data. In the process the algorithm uses the program for evaluating the effectiveness of text analyzers. This program is based on the operation of a fuzzy choice system, which serves to calculate the integral indicator of the text analyzer effectiveness. To set up a fuzzy choice system, special software and the participation of experts in a given subject area are required. In the process of setting up this system, the membership functions are approximated and the values of their parameters are determined. When evaluating the effectiveness of text analyzers, the quality and efficiency of getting answers to test questions are taken into account. Text analyzer with the highest integral efficiency indicator value is recommended for further use in the relevant subject area. The application of the algorithm presented in the article allows taking the best version of a management decision based on information obtained as a result of processing big data arrays of natural language.
Ключевые слова: массивы естественно-языковых больших данных, эффективность текстового анализатора, алгоритм поддержки принятия решений, система нечеткого выбора, интегральный показатель, аппроксимация функций принадлежности.
Keywords: arrays of natural language big data, text analyzer efficiency, decision support algorithm, fuzzy selection system, integral index, approximation of membership functions.
Введение
В крупных организациях, учреждениях и ведомствах в течение многих лет накоплены огромные массивы разнообразной информации в виде текстов на естественном языке. Такие информационные ресурсы можно классифицировать как большие данные, содержащие сведения, касающиеся конкретной компании, её целей, задач, структуры,
кадрового состава, проведенных мероприятий, реализованных проектов, финансовых оборотов, отчетов, перспективных планов, партнеров и т. п. Эти большие информационные массивы хранятся в электронном виде в разных форматах (MS Word, MS Excel, txt, pdf, djvu, HTML и др.) во многочисленных корпоративных системах, архивах и порталах, базах данных тех или иных подразделений, системах электронного документооборота, электронной почте, файловых каталогах и т. д. В процессе принятия тех или иных управленческих решений руководителю очень важно учитывать информацию, содержащуюся во всех источниках. Однако ввиду того, что эти данные чрезвычайно велики по объему, разнородны, несистематизированы и распределены по различным хранилищам, руководитель для принятия решений не имеет возможности использовать необходимую для этого полную информацию. По данным исследований корпорации IBM, руководители располагают не более 7 % информации, требуемой для выбора наилучшего варианта решения. В результате страдает качество управления, снижается эффективность функционирования компании, её конкурентоспособность.
Обозначенная выше проблема может быть решена, если из больших и плохо структурированных естественно-языковых массивов выделять нужную информацию, предоставляя возможность руководителю своевременно получать достоверные ответы на конкретные интересующие его вопросы. С этой целью применяются специальные программные средства, позволяющие осуществлять семантический анализ текстов, получая запрос и выдавая ответную информацию на естественном языке. В основе таких средств лежат компьютерные технологии лингвистического процессора, нацеленные на извлечение смысла из больших массивов естественно-языковых данных.
Для решения указанной задачи были разработаны различные варианты программного обеспечения, называемого анализаторами текстов, например, Google Desktop, Яndex.Server. Сейчас могут быть использованы семантические вопросно-ответные поисковые системы AskNet, комплекс программ для анализа русскоязычных текстов Russian Context Optimizer, программные продукты Ontos, информационно-аналитическая система ARION и др.
Цель исследования, изложенного в статье - обеспечить выбор анализаторов текстов, позволяющих обрабатывать большие естественно-языковые массивы для принятия эффективных управляющих решений. Для достижения указанной цели требуется решить следующие задачи:
1) предложить аналитические выражения для оценки эффективности программных анализаторов текстов;
2) разработать алгоритм поддержки принятия решения по выбору программных средств, обеспечивающих наиболее эффективный анализ текстов в заданной предметной области.
Показатели эффективности программных анализаторов текстов
Пользователь, стремясь разобраться в деталях решаемой задачи, формирует на естественном языке вопрос и отправляет его программному анализатору текстов. Анализатор выполняет семантическую обработку имеющихся текстовых массивов и выдает пользователю ответ на естественном языке.
Эффективность программного анализатора текстов предлагается оценивать на основе вычисления значений двух показателей:
1) Q - качество ответов, выдаваемых анализатором;
2) D - средняя длительность выдачи ответов.
Показатель Q должен учитывать правдивость и полноту выдаваемого ответа. Значение этого показателя можно вычислить по формуле:
NQ
Q=ir- (1)
где Nq - число достаточно качественных ответов, выданных анализатором на вопросы
пользователя; N - общее число сформированных вопросно-ответных пар.
Показатель Q может принимать значения от 0 до 1. Чем больше значение Q , тем выше эффективность программного анализатора текстов.
Значение показателя D характеризует способность анализатора оперативно выдавать ответы на вопросы пользователя. Значение этого показателя можно вычислить по формуле:
1 N
D = — X T , (2)
Nhl, ()
где T - время, в течение которого анализатором выдан ответ на вопрос номер i .
Величина D показывает, сколько в среднем времени требуется анализатору для формирования и выдачи ответа. Чем больше значение D, тем ниже эффективность программного анализатора текстов.
Величины Q и D являются частными показателями эффективности программного анализатора текстов. На их основе можно предложить интегральный показатель для принятия решений по выбору средств обработки больших массивов естественно-языковых данных.
Уровни качества выдаваемых анализатором ответов и оперативности их выдачи сложно определить строгими численными критериями. В этом случае можно использовать аппарат нечетких множеств. Тогда качество ответов анализатора может оцениваться с помощью нечетких множеств «Высокое качество ответов» и «Низкое качество ответов», а оперативность выдачи ответов на вопросы пользователя может соответствовать нечетким множествам «Высокая оперативность ответов» и «Низкая оперативность ответов». Найти результирующую оценку эффективности программного анализатора текстов можно, вычислив некоторый интегральный показатель E с помощью нечеткого логического вывода [Polshchykov, 2015; Rvachova, 2015; Polshchykov, 2015; Ivaschuk, 2016; Konstantinov, 2017].
Значение интегрального показателя E предлагается вычислять с помощью модели, соответствующей алгоритму нечеткого вывода Сугено нулевого порядка [Takagi, 1985], применение которого позволяет решить многие практические задачи [Усков, 2004; Штовба, 2007; Польщиков, 2014; Польщиков, 2015; Константинов, 2016]. В этом случае используется база нечетких правил:
Если (Q = VQ )u(D = VD ), тоЕ = Y1, (3)
Если (Q = VQ )u(D = WD ), тоЕ = Y2 , (4)
Если(Q = WQ )u(D = VD),тоЕ = Y3 , (5)
Если (Q = WQ )u(D = WD ), тоЕ = Y4 , (6)
где VQ - нечеткое множество «Высокое качество ответов»;
Wq - нечеткое множество «Низкое качество ответов»;
VD - нечеткое множество «Высокая оперативность ответов»;
WD - нечеткое множество «Низкая оперативность ответов»;
Yx = 4, Y2 = 3, Y3 = 2 и Y4 = 1 - значения индивидуальных выводов нечетких правил.
Степень принадлежности величин Q и D нечетким множествам определяется значениями соответствующих функций принадлежности mv (Q), mw (Q), nv (D) и nw (D) с параметрами qv0 , qvl, qw0 , qwl , tv0 , tvl , tw0 и twl (рис. 1 и рис. 2).
M mw(Q) mv (Q)
-►
Ц\А Ъ'О 4w0 Ц\Л Q
Рис. 1. Функции принадлежности mv (Q) и mw(Q) Fig. 1. Membership function mv (Q) и mw (Q)
t nv(D)
tv i two tvo tv i D
Рис. 2. Функции принадлежности nv (D) и nw(D) Fig. 2. Membership function nv (D) и nw(D)
Алгоритм нечеткого вывода Сугено нулевого порядка включает три основных этапа. На первом этапе выполняется фаззификация:
mv (Q) =
mv (Q) =
mv (Q) =
mv (Q) =
0,
Q - qvo
qv\- -qvo,
\
qw0 - Q
qw\ ~ qw0
o,
' \
tv0 - D
tv0 - tv\
o,
Q - two
Q < qvo; qvo — Q < 4v\;
Q > qv\;
Q < qw\;
qw\ — Q < qwo'; Q > qwo;
D < tv\;
tv\ — D < tv0 ;
Q > qv\;
D < t„,n;
tw0 — D < tw\;
1,
D > t
w\;
На втором этапе выполняется агрегирование:
G\ = mv (Q) a nv (D);
g2 = mv(Q) a nw(D); g3 = mw(Q) a nv(D); G4 = mw (Q) a nwv (D)■
(7)
(8)
(9)
(10)
(11) (12)
(13)
(14)
1
1
т — f lw\ lw0
На третьем этапе выполняется дефаззификация:
4
Е сг¥г
г =1
Е = -. (15)
Е ог
г=1
Вычисление показателя Е является результатом функционирования системы нечеткого вывода, предназначенной для оценки эффективности программного анализатора текстов. Чем выше значение интегрального показателя Е , тем большей эффективностью обладает программный анализатор текстов.
Настройка параметров системы нечеткого вывода
Предложенную систему нечеткого выбора необходимо настроить, т. е. определить корректные значения параметров функций принадлежности.
Для этого предлагается провести серию из К экспериментов с участием М0 экспертов. В каждом эксперименте номер к (где к = 1,2...,К ) специально созданная программа для настройки системы нечеткого вывода задает вопросы и выдает на них ответы из предметной области, в которой эксперты имеют глубокие знания и опыт. При этом с помощью указанной программы фиксируется качество ответа и время его выдачи. В результате каждого эксперимента номер к определяются величины N, Мд и Т , а затем по формулам (1) и (2)
вычисляются значения показателей Ок и Ък. По окончании эксперимента в интерфейсе программы для настройки системы нечеткого вывода каждый эксперт отмечает, какими (высокими или низкими), по его мнению, были качество и оперативность выдачи ответов тестовой системой.
Далее вычисляются оценки функций принадлежности для каждого значения Ок и Ък :
* мдш т*к =-;
М0 (16)
* м0(Ок)
т- ="Мо"; (17)
^ = ; (18)
п* = (19)
укм0 К '
где мд (Ок) - число экспертов, которые отметили, что при Ок качество ответов, выдаваемых тестовой системой, было высоким;
Мд (Ок) - число экспертов, которые отметили, что при Ок качество ответов, выдаваемых тестовой системой, было низким;
МЪ (Ък) - число экспертов, которые отметили, что при Ък оперативность выдачи ответов тестовой системой была высокой;
МЪ (Ък) - число экспертов, которые отметили, что при Ъ оперативность выдачи ответов тестовой системой была низкой.
Затем из множества
* \ * * * * I
т* = т*1-т*2,---т*,к-т*к / (20)
путем отбора тех оценок, значения которых удовлетворяют условию 0.1 < т*к < 0.9, формируется множество
т = тъ ту2 ,...т~У5 ...^ } (21)
где ^ - номер текущего элемента сформированного множества; ^ - число элементов в сформированном множестве. Аналогично из множеств
* ) * * * * I /ООЛ
т* = \тм,1, тк2,...щкк...тпкк > (22)
* I * * * * I /ЛЛ\
п* = К^п*2,-т*к-Пк I (23)
V
* I * * * * I /Г\ л \
пК = 'пк1, пк1,...ПКк-ПКк > (24)
формируются множества
т„ = \ (25) ~ = ,\ (26)
= ^1,п\ (27)
соответственно, элементы которых имеют значения в интервале от 0,1 до 0,9. Далее требуется получить уравнения прямых:
М0 = а& + Ъ., (28)
У2&) = а2О + ъ2, (29)
УЪ(Р) = а^О + Ъз, (30)
У4(Р) = а4О + Ъ4, (31)
сглаживающих значения элементов множеств тпу, , ~ и пк соответственно. Аппроксимацию оценок функций принадлежности предлагается выполнить по методу наименьших квадратов, в соответствии с которым коэффициенты прямых вычисляются по формулам:
а =
$1 $1
^ Е От -Е & Е
* =1_*=1 *=1
1 ^^ ^
$1 Е О - (Е О*)
$=1 $=1
Е п- а1 Е &
(32)
а =
ъ1= -; (33)
(34)
51
$2 5 2,
52 Е-Е & Е т^
$=1_$=1 $=1_.
2 ¡2 $2 52 Е О - (Е О*)
$=1 $=1
Е т™ - а2 Е &
Ъ2 = ^—; (35)
$3 $3 $3
¡з Е -Е О Е
$=1_*=1 *=1 .
а3 = * ,2 $2
(36)
$3 Е О2 - (Е О*)
*=1 *=1
$3 $3
Е К* - аэ Е О*
и 1 *=1
$3
£4 $4 $4
$4 Е дд^ -Е О* Е пч>*
п _ *=1_*=1 *=1 .
Л4 = $4 $4 ;
ч2
(37)
$4 Е О2 - (Е О*)
*=1 *=1
Л
Л
3
Е ^ — а4 Е Ъ
Ь4 = ^-; (39)
Получив коэффициенты a1 и Ъ1 сглаживающей прямой, можно определить искомые параметры qa0 и qa1 из уравнений
alqvo + Ь = 0 ; (40)
alqVl + Ь = 1 • (41)
Решив уравнения, получим:
qvo =- ^; (42)
а
qVl = ^; (43)
ах
Аналогично выводятся значения параметров qw0, qw1, tv0, , ^0 и ^ . Полученные формулы для их расчета имеют следующий вид:
qwo = -—■; (44)
а
2
1 — Ь /ЛП--
qwl = —2; (45)
tvo = — Ьз; (46)
а
3
1—ь .
2
(47)
3
^ =—Ь±; (48)
2.
4
1 — ь
^ = ; (49)
а
4
Алгоритм поддержки принятия решения по выбору анализаторов текстов
Выполнив настройку параметров синтезированной системы нечеткого вывода, её можно использовать для оценки эффективности программных анализаторов текстов и последующего принятия решения по выбору средств обработки больших массивов естественно-языковых данных. С этой целью необходимо создать программу по оценке эффективности анализаторов текстов, включающую вышеуказанную систему нечеткого вывода, базу данных тестовых вопросов и правильных ответов, а также средств, обеспечивающих вычисление величин д и Ъ по формулам (1) и (2). Располагая данной программой, при участии человека-тестировщика можно выбрать наиболее эффективный анализатор текстов из совокупности альтернативных вариантов, для чего предлагается следующий алгоритм:
1. Запускается программа по оценке эффективности анализатора текстов.
2. Запускается исследуемый программный анализатор текстов и подключается к большим массивам естественно-языковых данных, содержащих информацию о требуемой предметной области.
3. Программа по оценке эффективности анализатора текстов задает тестовый вопрос.
4. Тестировщик получает вопрос, заданный программой по оценке эффективности анализатора текстов.
2
5. Тестировщик вводит задаваемый вопрос в интерфейсе исследуемого анализатора текстов и запускает таймер ожидания ответа.
6. Программный анализатор текстов формирует и выдает ответ на заданный вопрос.
7. Тестировщик получает ответ, выданный анализатором текстов, и останавливает таймер ожидания ответа.
8. Тестировщик в интерфейсе программы по оценке эффективности анализатора текстов выбирает вариант, который в наибольшей степени соответствует полученному ответу.
9. Если все тестовые вопросы заданы, то программа по оценке эффективности анализатора текстов вычисляет значение интегрального показателя Е , в противном случае выполнение алгоритма возвращается в пункт 3.
10. Если все анализаторы текстов исследованы, то для дальнейшего использования рекомендуется анализатор с наибольшим значением интегрального показателя эффективности, в противном случае выполнение алгоритма возвращается в пункт 2.
Заключение
Таким образом, в статье представлен обзор программных анализаторов текстов и предложен алгоритм поддержки принятия решения по выбору средств обработки больших массивов естественно-языковых данных. При выполнении алгоритма используется программа по оценке эффективности анализаторов текстов. Эта программа основана на работе системы нечеткого выбора, служащей для вычисления интегрального показателя эффективности анализатора текстов. Для настройки системы нечеткого выбора требуются специальные программные средства и участие экспертов в заданной предметной области. В процессе настройки этой системы осуществляется аппроксимация функций принадлежности и определяются значения их параметров. При оценивании эффективности анализаторов текстов учитывается качество и оперативность получения ответов на тестовые вопросы. Анализатор текстов с наибольшим значением интегрального показателя эффективности рекомендуется для дальнейшего использования в соответствующей предметной области. Применение представленного в статье алгоритма позволяет принять наилучший вариант управленческого решения на основе информации, полученной в результате обработки больших массивов естественно-языковых данных.
Дальнейшие исследования по теме статьи будут посвящены разработке программного обеспечения на основе предложенного алгоритма и получению экспериментальных результатов его применения.
Настоящая статья содержит результаты проекта «Разработка инструментальных средств реализации естественно-языковых систем обработки больших данных», выполняемого в рамках реализации Программы Центра компетенций Национальной технологической инициативы «Центр хранения и анализа больших данных», поддерживаемого Министерством науки и высшего образования Российской Федерации по Договору МГУ им. М.В. Ломоносова с Фондом поддержки проектов Национальной технологической инициативы от 11.12.2018 № 13/1251/2018.
Список литературы
1. Константинов И.С., Лазарев С.А., Польщиков К.А. 2016. Нечеткая система для оценки эффективности управления информационным обменом сети корпоративных порталов. Вестник компьютерных и информационных технологий, 9: 42-47.
2. Польщиков К.А. 2015. Нейро-нечеткая система выбора межсегментного интервала в телекоммуникационной сети. Вестник НГУ. Серия: Информационные технологии, 13 (4): 33-42.
3. Польщиков К.А. 2014. Нейро-нечеткое прогнозирование длительности ожидания подтверждений в телекоммуникационной сети. Системный анализ и информационные технологии в науках о природе и обществе, 1-2: 57-61.
4. Польщиков К.А. 2015. Система прогнозирования длительности ожидания подтверждений в телекоммуникационной сети. Инфокоммуникационные технологии, 2: 148-153.
5. Польщиков К.А. 2015. Система прогнозирования загрузки маршрутизатора на основе нечеткой нейронной сети. Вестник компьютерных и информационных технологий, 9: 55-60.
6. Польщиков К.А., Здоренко Ю.Н. 2014. Усовершенствованный метод нейро-нечеткого управления отбрасыванием пакетов в транзитных маршрутизаторах телекоммуникационной сети. Проблемы телекоммуникаций, 2 (14): 76-90.
7. Усков А.А., Кузьмин А.В. 2004. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика. М. Горячая линия-Телеком, 143.
8. Штовба С.Д. 2007. Проектирование нечетких систем средствами MATLAB. М. Горячая линия-Телеком, 288.
9. AskNet. Available at: http://asknet.ru (accessed: 26.06.2019).
10. Business Robotics. Available at: http://ontos.com (accessed: 26.06.2019).
11. Information and analytical system ARION. URL: http://sytech.ru/about.php?id=5 (accessed: 26.07.2019).
12. Ivaschuk O., Polschykov K., Lazarev S. at al. 2016. Integral estimate of terrestrial compartment condition in management of Biotechnosphere of Rural and Urban Areas. International Journal of Pharmacy and Technology, 8 (4): 27032-27038.
13. Konstantinov I., Polshchykov K., Lazarev S. 2017. Model of Neuro-Fuzzy Prediction of Confirmation Timeout in a Mobile Ad Hoc Network. CEUR Workshop Proceedings. Mathematical and Information Technologies, 1839: 174-186.
14. Konstantinov I., Polshchykov K., Lazarev S. 2017. The Algorithm for Neuro-Fuzzy Controlling the Intensity of Retransmission in a Mobile Ad-Hoc Network. International Journal of Applied Mathematics and Statistics, 56 (2): 85-90.
15. Polshchykov K., Lazarev S., Zdorovtsov A. 2017. Neuro-Fuzzy Control of Data Sending in a Mobile Ad Hoc Network. Journal of Fundamental and Applied Sciences, 9 (2S): 1494-1501.
16. Polshchykov K., Zdorenko Y., Masesov M. 2015. Neuro-Fuzzy System for Prediction of Telecommunication Channel Load. Problems of Infocommunications Science and Technology. Proceedings of the Second International Scientific-Practical Conference. Kharkiv: 33-34.
17. RCO. Available at: http://www.rco.ru (accessed: 26.06.2019).
18. Rvachova N., Sokol G., Polschykov K., Davies J. 2015. Selecting the intersegment interval for TCP in Telecomms networks using fuzzy inference system. Proceedings of the Sixth International Conference 2015 Internet Technologies and Applications (ITA). Wrexham, Glyndwr University: 256-260.
19. SyTech. Available at: http://www.sytech.ru/about.php?id=60 (accessed: 26.06.2019).
20. Takagi T., Sugeno M. 1985. Fuzzy Identification of Systems and Its Applications to Modeling and Control. IEEE Transactions on Systems, Man, and Cybernetics, 15: 116-132.
References
1. Konstantinov I.S., Lazarev S.A., Pol'shhikov K.A. 2016. Nechetkaja sistema dlja ocenki jeffektivnosti upravlenija informacionnym obmenom seti korporativnyh portalov [A fuzzy system for assessing the effectiveness of managing the information exchange of a network of corporate portals]. Bulletin of Computer and Information Technologies, 9: 42-47.
2. Pol'shhikov K.A. 2015. Nejro-nechetkaja sistema vybora mezhsegmentnogo intervala v telekommunikacionnoj seti [Neuro-fuzzy system of choosing an intersegment interval in a telecommunication network]. Bulletin NGU. Information Technology, 13 (4): 33-42.
3. Pol'shhikov K.A. 2014. Nejro-nechetkoe prognozirovanie dlitel'nosti ozhidanija podtverzhdenij v telekommunikacionnoj seti [Neuro-fuzzy prediction of the waiting time for confirmations in the telecommunications network]. Systems Analysis and Information Technologies in the Sciences of Nature and Society, 1-2: 57-61.
4. Pol'shhikov K.A. 2015. Sistema prognozirovanija dlitel'nosti ozhidanija podtverzhdenij v telekommunikacionnoj seti [The system for predicting the duration of waiting for confirmations in the telecommunications network]. Infocommunication technology, 2: 148-153.
5. Pol'shhikov K.A. 2015. Sistema prognozirovanij a zagruzki marshrutizatora na osnove nechetkoj nejronnoj seti [A router load prediction system based on a fuzzy neural network]. Bulletin of Computer and Information Technologies, 9: 55-60.
6. Pol'shhikov K.A., Zdorenko Ju.N. 2014. Usovershenstvovannyj metod nejro-nechetkogo upravlenija otbrasyvaniem paketov v tranzitnyh marshrutizatorah telekommunikacionnoj seti [Advanced
method of neuro-fuzzy control of packet drop in transit routers of a telecommunication network]. Telecommunication problems, 2 (14): 76-90,
7, Uskov A.A., Kuz'min A.V. 2004, Intellektual'nye tehnologii upravlenija, Iskusstvennye nejronnye seti i nechetkaja logika [Intelligent Management Technologies], M, Goijachaja linija-Telekom, 143,
8, Shtovba S,D, 2007, Proektirovanie nechetkih sistem sredstvami MATLAB [Design of fuzzy systems using MATLAB], M, Gorjachaja linija-Telekom, 288,
9, AskNet, Available at: http://asknet,ru (accessed: 26,06,2019),
10,Business Robotics, Available at: http://ontos,com (accessed: 26,06,2019),
11, Information and analytical system ARION, URL: http://sytech,ru/about,php?id=5 (accessed: 26,07,2019),
12,Ivaschuk O,, Polschykov K,, Lazarev S, at al, 2016, Integral estimate of terrestrial compartment condition in management of Biotechnosphere of Rural and Urban Areas, International Journal of Pharmacy and Technology, 8 (4): 27032-27038,
13,Konstantinov I,, Polshchykov K,, Lazarev S, 2017, Model of Neuro-Fuzzy Prediction of Confirmation Timeout in a Mobile Ad Hoc Network, CEUR Workshop Proceedings, Mathematical and Information Technologies, 1839: 174-186,
14,Konstantinov I,, Polshchykov K,, Lazarev S, 2017, The Algorithm for Neuro-Fuzzy Controlling the Intensity of Retransmission in a Mobile Ad-Hoc Network, International Journal of Applied Mathematics and Statistics, 56 (2): 85-90,
15, Polshchykov K,, Lazarev S,, Zdorovtsov A, 2017, Neuro-Fuzzy Control of Data Sending in a Mobile Ad Hoc Network, Journal of Fundamental and Applied Sciences, 9 (2S): 1494-1501,
16,Polshchykov K,, Zdorenko Y,, Masesov M, 2015, Neuro-Fuzzy System for Prediction of Telecommunication Channel Load, Problems of Infocommunications Science and Technology, Proceedings of the Second International Scientific-Practical Conference, Kharkiv: 33-34,
17,RCO, Available at: http://www,rco,ru (accessed: 26,06,2019),
18, Rvachova N,, Sokol G,, Polschykov K,, Davies J, 2015, Selecting the intersegment interval for TCP in Telecomms networks using fuzzy inference system, Proceedings of the Sixth International Conference 2015 Internet Technologies and Applications (ITA), Wrexham, Glyndwr University: 256-260,
19, SyTech, Available at: http://www,sytech,ru/about,php?id=60 (accessed: 26,06,2019),
20,Takagi T,, Sugeno M, 1985, Fuzzy Identification of Systems and Its Applications to Modeling and Control, IEEE Transactions on Systems, Man, and Cybernetics, 15: 116-132,
Ссылка для цитирования статьи Reference to article
Польщиков К.А., Польщикова О.Н., Игитян Е.В., Балакшин М.С. 2019, Алгоритм поддержки принятия решений по выбору средств обработки больших массивов естественно-языковых данных, Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 46 (3): 553-562, DOI 10,18413/2411-3808-2019-46-3-553-562,
Polshchikov К,А,, Polshchikova O N,, Igityan E,V,, Balakshin M,S, 2019, The algorithm of decision support in the choice of means of processing large amounts of natural language data, Belgorod State University Scientific Bulletin, Economics, Information technologies, 46 (3): 553-562 (in Russian), DOI 10,18413/2411-3808-2019-46-3-553-562,
