CC BY
0
противодействия терроризму. 2023. № 7-8(181-182). С. 44-49. DOI 10.53816/23061456_2023_7-8_44. EDN WSHNNA.
Алешин Игорь Николаевич, канд. техн. наук, ведущий научный сотрудник, [email protected], Россия, Санкт-Петербург,АО «ВНИИТрансмаш»,
Андрющенко Михаил Сергеевич, д-р техн. наук, профессор, [email protected], Россия, Санкт-Петербург, Санкт-Петербургский Военный ордена Жукова институт войск национальной гвардии Российской Федерации
HIGH ELEVATION ANGLE ARMORED VEHICLE RADAR SIGNATURE MEASUREMENT BY MEANS UNMANNED
AERIAL VEHICLES
I.N. Alesin, M.S. Andrushchenko
The article considers the problem of measuring the characteristics of the tank's radar visibility at high elevation angles. It is shown that this problem remains relevant even taking into account the changes in the nature of combat operations that occurred during a special military operation. It is proposed to use radar systems with inverse aperture synthesis installed on board unmanned aerial vehicles to measure the radar visibility of armored vehicles.
Key words: radar signature of armored vehicle, unmanned aerial vehicle, radar cross section, inverse aperture synthesis, sideways-looking radar, signature management.
Alyoshin Igor Nikolaevich, candidate of technical sciences, leading researcher, [email protected], Russia, Saint Petersburg, JSC «VNIITransmash»,
Andryushchenko Mikhail Sergeevich, doctor of technical sciences, professor, [email protected], Russia, St. Petersburg, St. Petersburg Military Order of Zhukov Institute of the National Guard of the Russian Federation
УДК 004.891.2
DOI: 10.24412/2071-6168-2024-12-213-214
ФОРМИРОВАНИЕ ВЕКТОРА ПОВЕДЕНЧЕСКИХ ПРИЗНАКОВ НА ОСНОВЕ LSTM и GRU СЕТЕЙ
П.А. Савенков, А.Г. Волошко, А.Н. Ивутин, О.С. Крюков
В статье рассматриваются современные методы анализа эмоциональной окраски текстов, набираемых на мобильных устройствах сотрудниками компаний, для формирования индивидуальных векторов поведенческих признаков. Исследование подчеркивает важность разработки специализированных подходов, включая использование нейросетевых моделей с механизмами внимания и плотными векторными представлениями. В рамках работы проведены эксперименты с различными архитектурами нейросетей. Произведен выбор наиболее релевантного открытого корпуса текстов (RuTweetCorp), который был дополнен самостоятельно собранным набором данных из более 50 000 текстов. Эти меры позволили повысить точность классификации на 5% по сравнению с базовыми данными при формировании динамического результирующего вектора поведенческих признаков.
Ключевые слова: поведенческая биометрия; поведенческие признаки, аномальное поведение, обработка естественного языка, LSTM, GRU.
Введение. Анализ эмоциональной окраски текстов в последние годы стал одной из ключевых задач обработки естественного языка (NLP) [1]. Популярность социальных сетей, блогов и других платформ, где пользователи выражают свои эмоции через текст, создает огромный объем данных, которые можно использовать для изучения скрытых поведенческих признаков человека, прогнозирования событий и улучшения взаимодействия с пользователями.
Разработка эффективных методов анализа эмоциональной составляющей текста приобретает всё большее значение. Одним из наиболее перспективных направлений исследований в области извлечения эмоционального окраса текстов является анализ взаимодействия пользователя с мобильным устройством и формирование на базе полученной информации комплексного поведенческого профиля на основе извлечения разнообразных поведенческих характеристик и идентификации скрытых зависимостей [2]. Такие зависимости могут включать в себя психологические воздействия, мелкие изменения в окружении или иные малозаметные сигналы, которые по отдельности несут небольшую информационную нагрузку, но в совокупности могут оказывать значительное влияние на изменение картины поведения.
В отличии от уже хорошо разработанных методов оценки эмоций на основе голосовой информации или видеоизображения, создание профиля на базе текстов представляет собой более сложную задачу из-за отсутствия очевидных и универсальных факторов, которые позволяют однозначно относить текст к определенному эмоциональному или поведенческому классу [3]. Эта сложность усугубляется высокой вариативностью текстовых данных, особенно если речь идет о неформальных форматах коммуникации. В текстах, набираемых на мобильных устройствах, часто наблюдаются особенности, такие как ограниченная длина сообщений, более выраженная эмоциональность, широкое использование сленга, эмодзи и аббревиатур. Эти элементы размывают традиционные структурные и лексические паттерны, которые обычно используются для анализа связных текстов. Кроме того, текстовые данные, по-
лученные из мобильных устройств, могут содержать значительные вариации, связанные с контекстом, например, быстрым переходом между различными темами или стилями общения, что существенно усложняет задачу создания моделей, способных адекватно интерпретировать и классифицировать такие данные. Таким образом, для работы с подобными текстами требуется разработка специализированных подходов, учитывающих их уникальные характеристики, например, использование нейросетевых моделей с механизмами внимания, способных учитывать контекст и выявлять латентные связи в хаотичных текстовых последовательностях.
Для решения задачи поиска скрытых зависимостей и формирования поведенческого вектора активности сотрудника, одной из наиболее перспективных технологий является использование нейронных сетей, которые способны эффективно учитывать временные зависимости и контекстуальную информацию в текстовых данных [4]. Эти технологии позволяют моделировать сложные взаимосвязи между различными факторами, влияющими на поведение сотрудников, на основе анализа большого объема данных. Однако, несмотря на значительный прогресс в этой области, остается открытым ряд вопросов, таких как выбор наиболее подходящей архитектуры нейронной сети, создание обучающего датасета, а также разработка методов извлечения признаков, которые бы обеспечивали наибольшую точность предсказаний.
Формирование вектора поведенческих признаков. Для решения задачи классификации эмоциональной окраски текстов необходимо тщательно подойти к выбору методов обработки данных и настройки нейросети. Прежде всего, важно определить способ представления исходных данных, который наиболее эффективно отразит смысл текстов для модели. Также требуется выбрать оптимальную архитектуру нейросети, учитывая специфику задачи и объем доступных данных, и обеспечить наличие подходящей обучающей выборки, отражающей разнообразие возможных эмоциональных оттенков.
В ходе работы были исследованы различные способы представления исходных данных для нейросети. Среди них: числовое кодирование, которое преобразует текст в последовательность чисел, и несколько вариантов векторного представления, таких как One Hot Encoding, где каждому уникальному слову соответствует уникальный вектор, и Embedding, позволяющий учитывать семантическую близость слов благодаря распределенным представлениям [5, 6].
В то же время числовое кодирование, хотя и является простым в реализации, оказалось недостаточно информативным для данной задачи. Его ограниченность заключается в отсутствии учета взаимосвязей между словами и их контекстного значения, что приводит к результатам, едва превышающим случайное угадывание. Таким образом, этот подход оказался малопригодным для анализа сложных лингвистических данных.
Результаты проведенных экспериментов продемонстрировали, что наиболее эффективным подходом для задачи анализа эмоционального окраса текста является использование плотного векторного представления Embedding. Этот метод обеспечивает моделям возможность учитывать как структурные, так и семантические связи между словами, что критически важно для анализа контекста и глубинного понимания текста. Благодаря этому Embedding позволяет достигать высокой точности в классификации эмоций, превосходя альтернативные методы. На рис. 1 представлено графическое представление Embedding.
Визуализация (Embedding)
• сейчас • контракта интересует •
п родукт приобрета • ть файлы маркетин г
• • стоит клиенть я • включение
• • хотят прим коллег енить • • и У возножн не 0
• • •
• попрош У
0.00
РСА Component 1
Рис. 1. Визуализация Embedding
В ходе исследования была выявлена еще одна значительная проблема, заключающаяся в недостаточном количестве пригодных для обучения датасетов на русском языке. Этот дефицит ограничивает возможности разработки и тестирования моделей. Для решения данной проблемы требуется разработка новых специализированных
наборов данных, а также их тщательная разметка и валидация. Это позволит значительно улучшить качество обучения моделей и повысить их способность обрабатывать тексты на русском языке.
В результате анализа доступных источников данных был выбран крупнейший открытый корпус текстов — RuTweetCorp [7]. Этот корпус благодаря своему масштабу и предварительной обработке стал основной базой для начального этапа обучения модели. Однако его объема и разнообразия оказалось недостаточно для достижения высокого качества классификации.
Для улучшения качества работы модели набор данных был расширен за счет самостоятельно собранных и размеченных в течение года записей, которые включали более 50 000 текстов с четко выраженной положительной или отрицательной эмоциональной окраской, что позволило значительно улучшить репрезентативность обучающей выборки и повысить качество обучения нейросети, обеспечив ей возможность более точного анализа эмоционального окраса текстов, набираемых на мобильных устройствах сотрудниками компаний.
В результате проведенного эксперимента, зафиксировано повышение доли правильных ответов нейросе-тей на 5% относительно оригинальной обучающей выборки на основе RuTweetCorp. Для выбора архитектуры нейронной сети были проведены экспериментальное сравнение скорости обучения и точности классификации различных типов сетей.
В рамках исследования были рассмотрены различные архитектуры нейронных сетей, включая простые полносвязные модели, базовые рекуррентные сети, а также сети со сложными механизмами обработки последовательностей. Среди них особое внимание уделялось сетям с долговременной и кратковременной памятью (Long Short-Term Memory, LSTM) и сетям с управляемым рекуррентным блоком (Gated Recurrent Unit, GRU), благодаря их способности эффективно работать с последовательными данными и учитывать контекст в текстах [8].
Эксперименты показали, что рекуррентные нейронные сети на базе GRU (двухслойная архитектура с использованием Embedding и GRU) продемонстрировали наилучшие показатели эффективности. Их точность классификации на проверочном наборе данных превысила 92%, что заметно выше по сравнению с результатами полносвязной сети (86%) и LSTM (84%) (рис. 2). Эти результаты подчеркивают преимущество GRU в обработке текстовых данных, особенно с учетом их способности лучше адаптироваться к особенностям последовательностей. На рис. 3 представлена архитектура нейронной сети GRU.
о,л ;..*-
1 1 ) 4 5 6 1 3 9 10 и Ц (3 « 15 16 17 К М !0 11
Эпоха
— Полносвязная ......Рекуррентная — - |_БТМ —■ С> К и
Рис. 2. Результаты работы нейронных сетей
embeddingjnput input: [(None, 200)]
InputLayer output: [(None, 200)]
1 F
embedding input: (None, 200)
Embedding output: (None. 200, 8)
i ■
gm input: (None, 200,8)
GRU output: (None, 32)
dense input: (None, 32)
Dense output: (None, 1)
Рис. 3. Графическое представление архитектуры нейронной сети на базе (7/<"{,'
Кроме того, модель на основе GRU продемонстрировала устойчивость к переобучению, что выражается в стабильной работе на тестовых данных, а также более высокую скорость обучения, что делает ее подходящей для задач с большими объемами данных и ограничениями по времени. Эти характеристики делают архитектуру GRU предпочтительным выбором для задач классификации эмоциональной окраски текстов.
215
На основе проведенного эксперимента был сформирован вектор поведенческих признаков, а именно количественных показателей положительного и отрицательного эмоционального окраса набираемых сотрудниками организаций текстов (таблица 1).
Таблица 1
Вектор поведенческих признаков____
Дата (день) анализа (количественного подсчета) 10.09.24 11.09.24 12.09.24 13.09.24 14.09.24 15.09.24
Отрицательных 122 110 87 147 162 146
Положительных 81 98 115 126 64 87
Пример частотного графика с большим количеством данных для визуализации вектора поведенческих признаков представлена на рис. 4.
Динамика положительного \л отрицательного эмоционального окраса текстов пользователя (10-30 сентября 2024) 160
Отрицательный Палпжкгедьнык
60
Дата
Рис. 4. Частотный график поведенческих признаков
Представленный частотный график показывает значительные колебания как негативных, так и позитивных эмоций, но даже на таком небольшом количестве данных значения в целом не сильно отклоняются от среднего. Однако, администратор системы может подробнее проверить активность пользователя 14 по 18 сентября, когда был значительный всплеск негативных эмоций.
Выводы. В рамках исследования были рассмотрены современные подходы к анализу эмоциональной окраски текстов, что является важной задачей в области обработки естественного языка. Особое внимание уделялось разработке методов, которые учитывают особенности текстов, создаваемых на мобильных устройствах, включая их эмоциональность, вариативность и наличие специфических элементов, таких как сленг и эмодзи.
Было установлено, что одним из наиболее эффективных способов представления текстовых данных для нейросетей является плотное векторное представление Embedding, обеспечивающее высокую точность за счет учета структурных и семантических связей между словами. При этом простое числовое кодирование оказалось недостаточным, так как оно не позволяет моделям эффективно анализировать контекст и скрытые взаимосвязи в текстах.
Также в ходе исследования была выявлена недостаточность качественных обучающих наборов данных на русском языке, что затрудняет разработку моделей, способных точно классифицировать эмоциональную окраску текстов.
Для решения этой проблемы был использован RuTweetCorp — крупнейший корпус текстов с автоматической аннотацией, дополненный самостоятельно собранным набором из более 50 000 записей, что значительно улучшило репрезентативность выборки. Эти меры позволили повысить точность моделей, что подтверждается ростом доли правильных ответов на 5% относительно базового набора данных.
Для выбора оптимальной архитектуры нейросети проведены эксперименты с различными типами моделей. Наилучшие результаты показали рекуррентные сети на основе GRU, которые обеспечили точность классификации свыше 92%, продемонстрировав преимущества в обработке последовательных данных. Эти сети также отличались устойчивостью к переобучению и высокой скоростью обучения, что делает их предпочтительным выбором для задач классификации эмоциональной окраски.
Таким образом, использование плотных векторных представлений, расширение обучающей выборки и применение архитектуры GRU позволили добиться существенного прогресса в анализе текстов с точки зрения их эмоциональной окраски, открывая перспективы для более точного прогнозирования поведения и улучшения взаимодействия с сотрудниками компании.
Исследование выполнено за счет гранта Российского научного фонда № 24-21-20022, https://rscf.ru/project/24-21-20022 и комитета Тульской области по науке и инноватике.
Список литературы
1. Wu S. et al. Deep learning in clinical natural language processing: a methodical review // Journal of the American Medical Informatics Association. 2020. Т. 27. №. 3. С. 457-470.
2. Мельник М.В., Котенко И.В. Обнаружение аномального поведения пользователей и сущностей в контейнерных системах на основе методов машинного обучения //Информационная безопасность регионов России (ИБРР-2023). 2023. С. 97.
3. Saxena A., Khanna A., Gupta D. Emotion recognition and detection methods: A comprehensive survey //Journal of Artificial Intelligence and Systems. 2020. Т. 2. №. 1. С. 53-79.
4. Еременко Ю.И., Олюнина Ю.С. Об определении метода обработки потока данных с целью выявления скрытых характеристик клавиатурного почерка //Прикладная математика и вопросы управления. 2017. №. 3. С. 6978.
5. Seger C. An investigation of categorical variable encoding techniques in machine learning: binary versus one-hot and feature hashing. 2018.
6. Childs C.M., Washburn N.R. Embedding domain knowledge for machine learning of complex material systems // MRS Communications. 2019. Т. 9. №. 3. С. 806-820.
7. Smetanin S. RuSentiTweet: a sentiment analysis dataset of general domain tweets in Russian // PeerJ Computer Science. 2022. Т. 8. С. e1039.
8. Nosouhian S., Nosouhian F., Khoshouei A. K. A review of recurrent neural network architecture for sequence learning: Comparison between LSTM and GRU. 2021.
Савенков Павел Анатольевич, канд. техн. наук, доцент, [email protected], Россия, Тула, Тульский государственный университет,
Волошко Анна Геннадьевна, канд. техн. наук, доцент, [email protected], Россия, Тула, Тульский государственный университет,
Ивутин Алексей Николаевич, д-р техн. наук, профессор, [email protected], Россия, Тула, Тульский государственный университет,
Крюков Олег Сергеевич, аспирант, [email protected], Россия, Тула, Тульский государственный университет
FORMATION OF A VECTOR OF BEHAVIORAL FEATURES BASED ON LSTM AND GRU NETWORKS P.A. Savenkov, A.G. Voloshko, A.N. Ivutin, O.S. Kryukov
The article discusses modern methods for analyzing the emotional coloring of texts typed on mobile devices by company employees to form individual vectors of behavioral features. The study emphasizes the importance of developing specialized approaches, including the use of neural network models with attention mechanisms and dense vector representations. As part of the work, experiments were conducted with various neural network architectures. The most relevant open text corpus (RuTweetCorp) was selected, which was supplemented by a self-collected dataset of more than 50,000 texts. These measures made it possible to increase the classification accuracy by 5% compared to the baseline data when forming a dynamic resulting vector of behavioral features.
Key words: behavioral biometrics, behavioral features, abnormal behavior, natural language processing, LSTM,
GRU.
Savenkov Pavel Anatolyevich, candidate of technical sciences, [email protected], Russia, Tula, Tula State
University,
Voloshko Anna Gennadievna, candidate of technical sciences, docent, a. [email protected], Russia, Tula, Tula State University,
Ivutin Alexey Nikolaevich, doctor of technical sciences, professor, [email protected], Russia, Tula, Tula State University,
Kryukov Oleg Sergeevich, postgraduate, [email protected], Russia, Tula, Tula State University
