Выбор нейросетевой модели на основе метода анализа иерархий Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья

УДК 004.93

DOI 10.25205/1818-7900-2024-22-4-62-70

Выбор нейросетевой модели на основе метода анализа иерархий

Румиль Мухутдинович Хусаинов

Казанский национальный исследовательский технический университет им. А. Н. Туполева - КАИ,

Казань, Россия

[email protected], https://orcid.org/0000-0003-4985-7833

Аннотация

В статье рассматривается выбор оптимальной нейросетевой модели YOLOv8 (YOLOv8s, YOLOv8l, YOLOv8x, YOLOv8m, YOLOv8n) с использованием метода анализа иерархий, который позволяет структурировать и систематизировать сложные решения, основанные на многокритериальных оценках. Основное внимание уделяется выявлению и сравнительному анализу наиболее значимых критериев для оценки эффективности нейросетевых моделей, таких как время обучения, а также метрики Precision, Recall и F1-score. Эти метрики играют ключевую роль в задачах компьютерного зрения, особенно когда речь идет о детекции объектов. При проведении исследования построены матрицы попарных сравнений, которые позволяют не только визуально представить относительную важность каждого из выбранных параметров, но и количественно оценить их влияние на общую эффективность модели. Процесс формирования матриц попарных сравнений включает в себя мнение экспертов в области машинного обучения и компьютерного зрения, что обеспечивает высокую степень надежности полученных результатов. После обработки данных и выполнения расчетов, включающих взвешивание каждого критерия, выведены приоритеты для альтернативных моделей YOLOv8. В результате расчетов выявлено, что нейросетевая модель YOLOv8n обладает максимальным приоритетом среди всех оцененных альтернатив. Это подчеркивает ее превосходство по сравнению с другими модификациями данной модели.

Ключевые слова

нейросетевая модель, метод анализа иерархий, модификация, попарное сравнение, вектор матриц, метрика Precision, критерий подбора, вектор приоритетов

Для цитирования

Хусаинов Р. М. Выбор нейросетевой модели на основе метода анализа иерархий // Вестник НГУ Серия: Информационные технологии. 2024. Т. 22, № 4. С. 62-70. DOI 10.25205/1818-7900-2024-22-4-62-70

Selection of a Neural Network Model Based on the Hierarchy Process Analysis Method

Rumil M. Khusainov

Kazan National Research Technical University named after A. N. Tupolev - KAI, Kazan, Russian Federation

[email protected], https://orcid.org/0000-0003-4985-7833

Abstract

This article discusses the selection of the optimal neural network model YOLOv8 (YOLOv8s, YOLOv8l, YOLOv8x, YOLOv8m, YOLOv8n) using the hierarchy process analysis method, which allows structuring and systematizing com© Хусаинов Р. М., 2024 ISSN 1818-7900 (Print). ISSN 2410-0420 (Online)

Вестник НГУ. Серия: Информационные технологии. 2024. Том 22, № 4 Vestnik NSU. Series: Information Technologies, 2024, vol. 22, no. 4

plex decisions based on multi-criteria assessments. The main focus is on identifying and comparative analysis of the most significant criteria for assessing the effectiveness of neural network models, such as training time, as well as the Precision, Recall and Fl-score metrics. These metrics play a key role in computer vision tasks, especially when it comes to object detection. During the study, pairwise comparison matrices were constructed, which allow not only to visually represent the relative importance of each of the selected parameters, but also to quantitatively assess their impact on the overall effectiveness of the model. The process of forming pairwise comparison matrices includes the opinion of experts in the field of machine learning and computer vision, which ensures a high degree of reliability of the results. After processing the data and performing calculations, including weighting each criterion, priorities for alternative YOLOv8 models were derived. As a result of the calculations, it was revealed that the YOLOv8n neural network model has the highest priority among all the alternatives evaluated. This emphasizes its superiority compared to other modifications of this model.

Keywords

neural network model, hierarchy process analysis method, modification, pairwise comparison, matrix vector, Precision metric, selection criterion, priority vector

For citation

Khusainov R. M. Selection of a neural network model based on the hierarchy process analysis method. Vestnik NSU. Series: Information Technologies, 2024, vol. 22, no. 4, pp. 62-70 (in Russ.) DOI 10.25205/1818-7900-2024-22-4-62-70

Введение

Современные технологии компьютерного зрения становятся все более важными для решения широкого спектра задач в различных областях, таких как системы видеонаблюдения, медицинская диагностика и автомобильная промышленность. Одной из наиболее перспективных и широко используемых моделей для распознавания объектов является нейронная сеть YOLO (You Only Look Once). Последняя версия, YOLOv8, предлагает улучшенные алгоритмические подходы и архитектуру по сравнению с предыдущими версиями, что обеспечивает более высокую точность и скорость обработки.

Тем не менее выбор оптимальной нейросетевой модели для конкретной задачи может быть сложным и многофакторным процессом. Метод анализа иерархий представляет собой полезный инструмент для принятия решений, позволяющий структурировать задачу выбора на основе критических факторов и критериев. Это позволит не только учитывать качественные и количественные характеристики моделей, но и проводить многокритериальный анализ, что делает процесс выбора более обоснованным.

Расчет метода анализа иерархий

Для практического применения нейросетевой модели YOLOv8 необходимо выбрать наиболее оптимальную из пяти ее модификаций (YOLOv8n, YOLOv8s, YOLOv8m,

Рис. 1. Построение дерева альтернатив для выбора оптимальной модели YOLOv8 Fig. 1. Construction of a tree of alternatives for choosing the optimal YOLOv8 model

YOLOv8x, YOLOv8l). Поэтому для принятия решений предлагается использовать математический инструмент на основе метода анализа иерархий (метод попарных сравнений) [1-3]. Данный метод заключается в сравнении изучаемых факторов (критериев, альтернатив) между собой.

Нейросетевая модель YOLOv8 (рис. 1) включает 4 критерия (время обучения, метрика Precision, метрика Recall, метрика F1-score) и 5 модификаций модели (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) [4-5].

После обучения нейросетевой модели YOLOv8 получены следующие результаты:

• время обучения модели (YOLOv8n - 1 ч 21 мин, YOLOv8s - 1 ч 47 мин, YOLOv8m - 1 ч 15 мин, YOLOv8l - 1 ч 26 мин, YOLOv8x - 1 ч 32 мин);

• метрика Precision (YOLOv8n - 0,845; YOLOv8s - 0,703; YOLOv8m - 0,705; YOLOv8l -0,845; YOLOv8x - 0,649);

• метрика Recall (YOLOv8n - 0,409; YOLOv8s - 0,449; YOLOv8m - 0,51; YOLOv8l - 0,426; YOLOv8x - 0,421);

• метрика F1-score (YOLOv8n - 0,52; YOLOv8s - 0,519; YOLOv8m - 0,58; YOLOv8l -0,566; YOLOv8x - 0,491).

Для оценки критерия модели YOLOv8 построим матрицу попарных сравнений (Aj). Пусть аи = 1, тогда отношение критерия i к критерию j определяется (1):

1

(1)

Попарное сравнение (табл. 1) оценивается по шкале интенсивности от 1 до 9 (1 - равно, 3 - немного лучше, 5 - лучше, 7 - значительно лучше, 9 - принципиально лучше).

При построении каждой из матриц важно обеспечить объективность оценок, используя согласованность мнений среди экспертов или автоматизированные методы. В результате получим наглядное представление о том, какие модели показывают лучшие результаты в разных аспектах, это позволит принять более обоснованное решение при выборе наиболее подходящей модели для использования в конкретных условиях.

Таблица 1

Результаты значений матрицы попарных сравнений

Table 1

Results of the values of the pairwise comparison matrix

Критерий Метрика Метрика Метрика Время

подбора Precision Recall F1-score обучения

Метрика Precision 1 6 7 5

Метрика Recall 0,166666667 1 6 7

Метрика F1-score 0,142857143 0,166666667 1 9

Время обучения 0,2 0,142857143 0,111111111 1

Итого 1,50952381 7,30952381 14,11111111 22

я =

a

Для вычисления вектора приоритетов выбран метод автора Т. Саати - «Метод анализа иерархий», разработанный как технология принятия решений на основе математических расчетов с применением метода попарных сравнений, используемый для определения вектора w [1]. Метод основан на одном из принципов линейной алгебры: искомый вектор является собственным вектором матрицы попарных сравнений, который соответствует максимальному числу Хтах [6-8].

Используем нормализованную оценку для '-го фактора ку , где у - обозначение фактора по строке в матрице попарных сравнений.

Собственные векторы матриц вычисляются на основе приближенных значений столбцов, используя метод среднегеометрического измерения расстояний между рассматриваемыми факторами (2):

k - \1 k • kn. * • • • * k

геом у 1 2 n

(2)

где п - количество оцениваемых факторов (критериев, альтернатив) [9-11]. Нормализованные оценки вектора приоритета вычисляется по формуле (3):

л

Л к .

к _ геом]

J л

"геомj

(3)

X к

¿—1 ге

j=1

Матрица формируется на основе парных сравнений критериев, где элементы матрицы представляют собой относительные оценки важности одного элемента относительно другого (табл. 2).

Таблица 2

Результаты значений матрицы по шкале Т. Саати

Table 2

Results of matrix values according to T. Saaty scale

Критерий подбора Метрика Precision Метрика Recall Метрика F1-score Время обучения Вектор приоритетов Л k геом Нормализованные оценки вектора приоритета kj

Метрика Precision 1 6 7 5 3,806754096 0,599387486

Метрика Recall 0,166666667 1 6 7 1,626576562 0,256110485

Метрика F1-score 0,142857143 0,166666667 1 9 0,680374933 0,107127545

Время обучения 0,2 0,142857143 0,111111111 1 0,237368104 0,037374484

Итого 1,50952381 7,30952381 14,11111111 22 6,351073695 1

Максимальное значение вектора матрицы попарных сравнений определяется по формуле (4):

Ах _Х П_1 ^ • к' , (4)

где Бу - сумма j-го столбца [12].

Далее вычисляется индекс согласованности (ИС) по формуле (5):

А — п

ИС _ тах (5)

п — 1

Отношение согласованности (ОС) определяется по формуле (6):

ОС = -

ИС

СИ -100

(6)

где СИ - среднее значение случайного индекса согласованности [13].

Проверка условия приемлемости ОС определяется по выражению (7):

ОС < 10%. (7)

Значение ОС считается для матрицы попарных сравнений приемлемым. Построим матрицы попарных сравнений (табл. 3) по отдельным критериям (метрика Precision, метрика Recall, метрика F1-score, время обучения).

Таблица 3

Результаты значений матрицы попарных сравнений для критерия «Метрика Precision»

Table 3

Results of the values of the matrix of pairwise comparisons for the criterion «Precision Metric»

Метрика Precision YOLOv8n YOLOv8s YOLOv8m YOLOv8l YOLOv8x

YOLOv8n 1 5 7 9 4

YOLOv8s 0,2 1 0,111111111 0,142857143 0,2

YOLOv8m 0,142857143 9 1 0,2 0,333333333

YOLOv8l 0,111111111 7 5 1 3

YOLOv8x 0,25 5 3 0,333333333 1

Итого 1,703968254 27 16,11111111 10,67619048 8,533333333

Далее вычисляются векторы приоритетов и нормализованные оценки вектора приоритетов по формуле 2, 3 (табл. 4). Вектор приоритетов отражает относительную важность каждой альтернативы по критерию Precision. Нормализованные оценки упрощают интерпретацию полученных результатов и помогают идентифицировать наиболее предпочтительные альтернативы.

Определим максимальное число вектора матрицы попарных сравнений 'kmax:

lmax = 1,70397 ■ 0,54213 + 27 ■ 0,02982 + 16,11111 ■ 0,07955 + 10,72619 ■ 0,21253+

+ 8,31111 ■ 0,13596 = 6,42016773

6,42016773 - 5

ИС = -

ОС =

5 -1 0,35504193 1,12 -100

= 0,35504193

= 0,00317002

Матрица попарных сравнений для критерия «Метрика Precision» по ОС является согласованной. Аналогично проводятся расчеты для других критериев.

Последним этапом для выбора модификации нейросетевой модели YOLOv8 является синтез альтернатив. Векторы приоритетов определяются для всех построенных матриц попарных сравнений.

Приоритеты альтернатив q определяются по формуле (8):

q = kjk • kj,

где к.к - нормализованные оценки вектора приоритета по матрице критериев.

л

Таблица 4

Результаты значений матрицы попарных сравнений для критерия «Метрика Precision» по шкале Т. Саати

Table 4

Results of the values of the matrix of pairwise comparisons for the criterion «Precision Metric» according to the scale of T. Saaty

Метрика Precision YOLOv8n YOLOv8s YOLOv8m YOLOv81 YOLOv8x Вектор приоритетов к геом Нормализованные оценки вектора приоритета

YOLOv8n 1 5 7 9 4 4,16941 0,54213

YOLOv8s 0,2 1 0,11111 0,14286 0,2 0,22937 0,02982

YOLOv8m 0,14286 9 1 0,2 0,33333 0,6118 0,07955

YOLOv81 0,11111 7 5 1 3 1,63452 0,21253

YOLOv8x 0,25 5 3 0,33333 1 1,04564 0,13596

Итого 1,70397 27 16,11111 10,67619 8,53333 7,69074 1

Расчеты векторов приоритетов (табл. 5) содержат нормализованные значения оценки вектора приоритета к] в каждом столбце. Каждый элемент вектора приоритета соответствует оценке конкретной альтернативы по определенному критерию, что в дальнейшем используется для принятия обоснованных решений. Важно отметить, что нормализованные значения векторов приоритетов могут изменяться в зависимости от выбранных критериев и методов оценивания.

Таблица 5

Результаты расчетов векторов приоритетов для альтернатив

Table 5

Results of calculations of priority vectors for alternatives

Альтернативы Критерий Приоритеты альтернатив

Метрика Precision Метрика Recall Метрика F1-score Время обучения

Численное значение приоритета

0,599387486 0,256110485 0,107127545 0,037374484

YOLOv8n 0,542133382 0,556102472 0,551514047 0,510038725 0,545516419

YOLOv8s 0,029824689 0,027114539 0,024555448 0,032917772 0,028681713

YOLOv8m 0,079550458 0,06424326 0,066621028 0,063636045 0,073650233

YOLOv8l 0,212530566 0,251458918 0,223314595 0,263833779 0,225573223

YOLOv8x 0,135960904 0,101080811 0,133994883 0,129573679 0,126578412

Как видно из таблицы, максимальное значение соответствует альтернативе YOLOv8n и составляет 0,545516419.

После проведенных исследований строится диаграмма нейросетевой модели YOLOv8 с указанием приоритетов альтернатив.

Рис. 2. Результаты расчета приоритета альтернатив

для выбора оптимальной модели YOLOv8 Fig. 2. Results of calculating the priority of alternatives for choosing the optimal YOLOv8 model

Следовательно, нейросетевая модель YOLOv8n обеспечивает оптимальные показатели (рис. 2), и в дальнейшем может использоваться при разработке программного комплекса и при распознавании объектов дорожной инфраструктуры по классам.

Заключение

Таким образом, выбор оптимальной нейросетевой модели YOLOv8 с использованием метода анализа иерархий показывает важность многокритериального подхода в процессе принятия решений в области компьютерного зрения. Анализ ключевых критериев, таких как время обучения, а также метрики Précision, Recall и F1-score, позволяет более глубоко оценить эффективность различных модификаций модели YOLOv8 (YOLOv8s, YOLOv8l, YOLOv8x, YOLOv8m, YOLOv8n).

Методы, использованные для построения матриц попарных сравнений и вовлечение экспертов в процесс оценки, подтверждают надежность и обоснованность результатов.

Полученные данные показывают, что YOLOv8n обладает наибольшим приоритетом, что может быть связано с ее оптимизированной архитектурой или качеством распознавания объектов.

Список литературы

1. Cаати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1989. 316 с.

2. Скрипина И. И. Анализ и выбор математической модели с помощью метода анализа иерархий // Научный результат. Информационные технологии. 2021. Т. 6, № 2. С. 41-46. DOI: 10.18413/2518-1092-2021-6-2-0-6.

3. Ибрагимова З. А. Сравнительный анализ межсетевых экранов следующего поколения на основе метода анализа иерархий // Информационные технологии и математические методы в экономике и управлении. 2023. С. 82-89.

4. Хусаинов Р. М., Талипов Н. Г., Катасев А. С, Шалаева Д. В. Нейросетевая технология анализа транспортных потоков в автоматизированных системах управления дорожным движением // Программная инженерия. 2023. Т. 14, № 10. С. 513-519.

5. Хусаинов Р. М., Талипов Н. Г., Катасев А. С. Нейросетевая модель и программный комплекс распознавания объектов дорожной инфраструктуры // Информационные технологии. 2023. Т. 29, № 9. С. 484-491.

6. Никул Е. М., Сидоров С. С. Алгоритм анализа матриц попарных сравнений с помощью вычисления векторов приоритетов // Известия ЮФУ. Технические науки. 2012. № 2 (127). С. 241-247.

7. Holovko S. Analysis of non-rigid pavement design options using the hierarchy method // Dorogi i mosti. 2022. No. 25. P. 31-39.

8. Мошенко И. Н., Пирогов Е. В. Метод факторного анализа иерархий // Инженерный вестник Дона. 2017. № 4 (47). С. 144.

9. Ибрагимова З. А. Сравнительный анализ межсетевых экранов следующего поколения на основе метода анализа иерархий // Информационные технологии и математические методы в экономике и управлении. 2023. С. 82-89.

10. Лубенцов А. В., Кобзистый С. Ю. Системный анализ параметров сложной системы с применением каскадного метода анализа иерархий // Техника и безопасность объектов уголовно-исполнительной системы: сб. материалов Междунар. науч.-практ. конф. Воронеж, 2023. С. 187-191.

11. Kyrylych T., Povstenko Yu. Multi-criteria analysis of startup investment alternatives using the hierarchy method // Entropy. 2023. Vol. 25. No. 5. P. 723.

12. Кротова А. В., Дрогалов Д. А., Солдатов Е. С. Сравнительный анализ методологий управления IT-проектами при помощи метода анализа иерархий // Научный форум.: сб. ст. V Междунар. науч.-практ. конф. Пенза, 2023. С. 75-79.

13. Романова П. С., Романова И. П. Применение метода анализа иерархий для оптимизации выбора кровельного материала для скатной крыши // Инженерный вестник Дона. 2018. № 4 (51). С. 85.

References

1. Saati T. Decision Making. The Analytic Hierarchy Process. Moscow, Radio and Communications publ., 1989, 316 p.

2. Skripina I. I. Analysis and Selection of a Mathematical Model Using the Analytic Hierarchy Process. Scientific Result. Information Technology, 2021, vol. 6. no. 2, pp. 41-46. (in Russ.) DOI: 10.18413/2518-1092-2021-6-2-0-6.

3. Ibragimova Z. A. Comparative Analysis of Next-Generation Firewalls Based on the Analytic Hierarchy Process. In: Information Technology and Mathematical Methods in Economics and Management, 2023, pp. 82-89. (in Russ.)

4. Khusainov R. M., Talipov N. G., Katasev A. S., Shalaeva D. V. Neural Network Technology for Analyzing Traffic Flows in Automated Traffic Control Systems. Software Engineering, 2023, vol. 14, no. 10, pp. 513-519. (in Russ.)

5. Khusainov R. M., Talipov N. G., Katasev A. S. Neural network model and software package for recognizing road infrastructure objects. Information technologies, 2023, vol. 29, no. 9, pp. 484-491. (in Russ.)

6. Nikul E. M., Sidorov S. S. Algorithm for analyzing pairwise comparison matrices using priority vector calculation. Bulletin of SFU. Technical sciences, 2012, no. 2 (127), pp. 241-247. (in Russ.)

7. Holovko S. Analysis of non-rigid pavement design options using the hierarchy method. Dorogi i mosti, 2022, no. 25, pp. 31-39.

8. Moshenko I. N., Pirogov E. V. Method of factor analysis of hierarchies. Engineering Bulletin of the Don, 2017, no. 4 (47), pp. 144. (in Russ.)

9. Ibragimova Z. A. Comparative Analysis of Next-Generation Firewalls Based on the Analytic Hierarchy Process. In: Information Technology and Mathematical Methods in Economics and Management, 2023, pp. 82-89. (in Russ.)

10. Lubentsov A. V., Kobzisty S. Yu. Systems Analysis of Parameters of a Complex System Using the Cascade Analytic Hierarchy Process. In: Technology and Safety of Penal System Facilities. Collection of Materials of the International Scientific and Practical Conference. Voronezh, 2023, pp. 187-191. (in Russ.)

11. Kyrylych T., Povstenko Yu. Multi-criteria Analysis of Startup Investment Alternatives Using the Hierarchy Method. Entropy, 2023, vol. 25, no. 5, p. 723.

12. Krotova A. V., Drogalov D. A., Soldatov E. S. Comparative analysis of IT project management methodologies using the hierarchy analysis method. In: Scientific forum. collection of articles of the V International scientific and practical conference. Penza, 2023, pp. 75-79. (in Russ.)

13. Romanova P. S., Romanova I. P. Application of the hierarchy process analysis method to optimize the choice of roofing material for a pitched roof. Engineering Bulletin of the Don, 2018, no. 4 (51), p. 85. (in Russ.)

Сведения об авторах

Хусаинов Румиль Мухутдинович, аспирант SPIN-код: 1247-6906 Author ID: 1160304

Information about the Author

Khusainov Rumil Mukhutdinovich, Postgraduate student SPIN code: 1247-6906 Author ID: 1160304

Статья поступила в редакцию 27.09.2024; одобрена после рецензирования 14.01.2025; принята к публикации 14.01.2024

The article was submitted 27.09.2024; approved after reviewing 14.01.2025; accepted for publication 14.01.2025