CC BY
11Математические методы моделирования, управления и анализа данных.
УДК 519.87
ИССЛЕДОВАНИЕ ЗНАЧИМОСТИ РАЗЛИЧНЫХ УРОВНЕЙ ПАРАМЕТРОВ
ДЛЯ МОДЕЛИРОВАНИЯ КАЧЕСТВА ВЗАИМОДЕЙСТВИЯ В ДИАЛОГАХ МЕЖДУ ЛЮДЬМИ
Т. С. Карасева, Я. С. Полонская, А. В. Скороход, А. В. Спирина
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Произведено исследование значимости уровней параметров метрики качества Interaction Quality. Рассмотрена оптимизация методом главных компонент с целью уменьшения признакового пространства. На основании работы тестов One-Way Anova, Tukey HSD и T-test сделаны выводы об исключении ряда параметров.
Ключевые слова: диалоговые системы, качество взаимодействия, речевой корпус, классификация.
SIGNIFICANCE STUDY OF DIFFERENT PARAMETER LEVELS FOR MODELLING THE QUALITY OF INTERACTION IN DIALOGUES AMONG PEOPLE
T. S. Karaseva, Y. S. Polonskaya, A. V. Skorokhod, A. V. Spirina
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The study of the significance levels of metrics parameters of the Interaction Quality is produced. The paper considers optimization by the general component analysis for reducing the feature space. On the basis of operation tests One-Way Anova, Tukey HSD and T-test the findings on the exclusion of the parameter number are given.
Keywords: dialog systems, quality of interaction, speech corpus, classification.
На сегодняшний день диалоговые системы получили широкое распространение. Данные о речи - основном инструменте человеческого общения, могут быть полезны в различных областях при проектировании различных речевых диалоговых систем, для лучшей адаптации системы к поведению пользователя, в автоматизации некоторых процессов анализа психологического состояния людей в ситуации с высоким уровнем ответственности, например, в космических программах. Одной из метрик качества взаимодействия, которая применяется при проектировании речевых диалоговых систем для оценки качества взаимодействия между компьютером и человеком, является Interaction Quality (IQ1 - абсолютная шкала). Для улучшения оценки также была использована и относительная шкала, преобразованная в абсолютную (IQ2abs) [1]. Идентификационная задача оценки IQ может быть сформулирована как задача классификации.
Как и для любого исследования в области речевой аналитики, при моделировании Interaction Quality для диалогов между людьми требуется речевой корпус задачеориентированных диалогов типа «человек-человек». Речевой корпус создан на основе диалогов между клиентами и агентами одной компании. Для снижения размерности признакового пространства было выделено три различных уровня параметров: exchange level (обмен репликой: вопрос-ответ), window level (3 последние обмена репликами), dialogue level (содержит информацию с самого начала до конца диалога) [2].
Для того чтобы оценить значимость влияния параметров, описывающих каждый уровень, была проведена классификация без использования параметров конкретного уровня.
Для реализации алгоритмов, примененных в данной работе, были созданы процессы в программной системе анализа данных Rapid Miner Studio [3].
Были использованы следующие методы классификации: наивный байесовский классификатор (NB), логистическая регрессия (LR), машина опорных векторов (SVM) [3].
Показателями эффективности работы классификаторов являются: F-мера (F1-measure), точность (Accuracy), мераполноты (Unweighteda veragerecall) [4].
Проводилась оптимизация с целью максимизации значения F-меры. Для оптимизации был использован метод полного перебора. Ввиду большого числа атрибутов в корпусе было решено применить метод главных компонент с его дальнейшей оптимизацией для последующего снижения размерности признакового пространства. Оптимизация главных компонент была реализована лишь для метода SVM, так как этот подход требует больших вычислительных затрат при ограниченном временном ресурсе. Для методов NB и LR и для сравнения полученных результатов в методе SVM, в методе главных компонент использовали значение суммарной дисперсии 0,99, на основе нашего предыдущего опыта.
На основании результатов работы метода статистической проверки гипотез, основанных на распре-
<Тешетневс^ие чтения. 2016
делении Стьюдента, был сделан вывод, что оптимизация числа компонент не имеет статистически значимых отличий при решении нашей задачи, следовательно, мы можем фиксировать суммарную дисперсию, сделав ее равной 0,99.
Результаты использования отдельных уровней были сравнены с результатами использования всех уровней. Основываясь на результатах работы процедуры одно-факторного дисперсионного анализа One-Way Anova и алгоритма вычисления оценки Tukey HSD [5], мы видим, что результаты не имеют статистически значимого различия между собой. Таким образом, следует исключить dialog- и window-уровни, оставив только exchange-уровень для моделирования качества взаимодействия диалогов типа «человек-человек», что уменьшит вычислительную сложность процессов.
References
1. Schmitt, A., Ultes, S. Interaction Quality: Assessing the quality of ongoing spoken dialog interaction by
experts - And how it relates to user satisfaction] // Speech Commun. 74, 12-36 (2015).
2. Human-Human Task-Oriented Conversations Corpus for Interaction Quality Modelling / Spirina A. V., Sidorov M. Yu., Sergienko R. B., Semenkin E. S., Minker W. // VestnikSibSAU 17(1) (2016).
3. Rapid Miner Available at: https://rapidminer.com/ (accessed: 05.09.2016).
4. Powers, David M. W. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness& Correlation // Journal of Machine Learning Technologies. ISSN: 2229-3981 & ISSN: 2229-399X, Vol. 2, Issue 1, 2011, pp. 37-63.
5. Hoaglin D. C., Mosteller F., Tukey J. W. Understanding Robust and Exploratory Data Analysis // ISBN: 978-0-471-38491-5 2000. 472 p.
© Карасева Т. С., Полонская Я. С., Скород А. В., Спирина А. В., 2016
УДК 681.5.015
МЕТОДОЛОГИЧЕСКИЙ ПОДХОД ИДЕНТИФИКАЦИИ ФУНКЦИИ ОБЪЕКТА СИСТЕМЫ АВТОМАТИЧЕСКОГО РЕГУЛИРОВАНИЯ НЕПРЕРЫВНОГО ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА
И. В. Ковалев, П. В. Зеленков, В. В. Лосев, Д. И. Ковалев, А. В. Перанцева
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Рассмотрен один из подходов к реализации задачи функциональной аппроксимации нелинейных характеристик объекта системы автоматического регулирования, основанный на идентификации функции объекта, анализе входных и выходных характеристик исследуемого объекта и численных характеристик полученных случайных величин.
Ключевые слова: аппроксимация, математическое ожидание, объект, случайная величина, функция.
METHODOLOGICAL APPROACH TO IDENTIFY THE FUNCTION OF THE OBJECT FOR AUTOMATIC REGULATION SYSTEM OF THE CONTINUOUS TECHNOLOGICAL PROCESSES
I. V. Kovalev, P. V. Zelenkov, V. V. Losev, D. I. Kovalev, A. V. Perantceva
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The article describes an approach to the implementation of the functional approximation problem of nonlinear characteristics of the object of automatic regulation system based on the identification of the object function, the analysis of input and output characteristics of the object, and numerical characteristics of random values.
Keywords: approximation, expected value, object, random values, function.
Задача получения экспериментальной статической характеристики объекта системы автоматического регулирования в условиях непрерывного технологического процесса сложных динамических систем, режимы работы которых сопряжены с постоянным из-
менением регулируемых параметров, является фактически недостижимой. Однако задача повышения качества регулирования требует построения динамической модели, способной представить вполне достоверно технологический объект управления [1]. Апри-
