CC BY
36
УДК 681.03
Рассмотрены вопросы применения информационной технологии и результаты ее работы. Технология предоставляет возможность выполнить многокритериальный экспертный отбор альтернатив. Рассмотрено использование ее для формирования экспертной группы. Приведены таблицы результатов математической обработки оценок экспертов
О РЕЗУЛЬТАТАХ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННОЙ ТЕХНОЛОГИИ КМЭОА
И.Н. Вдовиченко
Кандидат технических наук, декан Инженерный факультет Криворожский институт Кременчугского университета экономики, информационных технологий и управления ул. Революционная, 5, г. Кривой Рог, Украина, 50006 Контактный тел.: (0564) 65-04-51 e-mail: [email protected]
1. Введение
Разработка и широкое использование различных методов экспертизы определяется новыми, нестандартными ситуациями социального и научно-технического прогресса. Значение социальной экспертизы трудно переоценить при решении таких задач, как оценка сложной социальной ситуации, прогнозирование ситуации, прогноз и предотвращение негативных ситуаций. Нет сомнений в том, что качество социальной экспертизы, правильность прогноза и принятого решения зависит от правильности подбора экспертов. Проблема подбора экспертов является одной из наиболее сложных в рамках социальных исследований. Можно сказать, что в настоящее время нет методов подбора экспертов, наверняка обеспечивающих успех социальной экспертизы. Нет единой методики формирования экспертной группы для анализа сложных систем. Много внимания в литературе уделяется проведению экспертизы, предполагая, что экспертная группа уже создана. Проблема оценки качества экспертов до сих пор считается не решенной, что во многом объясняется отсутствием системного подхода к ее решению. Актуальной является необходимость решить задачу определения оптимального количества экспертов в группе и отбора наиболее качественных экспертов. Поэтому своевременным является исследование возможности построения и реализации методики выбора наиболее компетентных экспертов. Для формирования экспертной группы необходимо решить задачу многокритериальной экспертной оценки альтернатив.
2. Формирование группы экспертов
Для решения этой задачи выполнен системный анализ, разработана методика комбинированного
многокритериального экспертного оценивания альтернатив. В основу методики положено комбинированное использование 30 базовых метода, 6 основных методик, 3 психологических теста.
Научно обоснована необходимость использования комбинации экспертных и статистических методов, их взаимодополнение. Построена методика, позволяющая оценить альтернативы по 26 критериям, выполнить агрегирование результатов, полученных различными методами. На основе разработанной методики создана информационная технология комбинированного многокритериального экспертного оценивания альтернатив и информационно-аналитическая система ФОРЭГ (ФОРмирование Экспертной Группы).
Выполним формирование экспертной группы по предложенной технологии, используя созданную информационно-аналитическую систему ФОРЭГ. Следовательно, проведем комбинированное многокритериальное экспертное оценивание альтернатив, для выбора среди них наилучших.
Для экспериментальной работы из некоторого множества экспертов, ЛПР отобрало 30 экспертов, научная работа и специальность которых наиболее соответствует тематике планируемой экспертизы. Далее из 30 экспертов надо сформировать экспертную группу, выбрав наиболее достойных. Для этого будем использовать разработанную информационную технологию. Алгоритм технологии показан на рис.1.
3. Результаты использования технологии многокритериального оценивания
Представим полученные результаты. В начале работы рассчитывается необходимое количество экспертов в группе.
Рисунок 1. Алгоритм процесса формирования экспертной группы
Зададим предельно допустимую ошибку равную 0,5 и надежность равную 80% , получаем, что группа экспертов должна состоять из 7 человек. ЛПР определяет необходимые критерии и формирует группы критериев для данной экспертизы. Эксперты определяют оценки критериев и групп критериев, ИАС ранжирует результаты (см. табл. 1).
Эксперты, в интерактивном режиме выполняют оценку альтернатив, формируя БД и массивы. После отработки каждым экспертом самооценки, взаимооценки, социометрического оценивания, документальной оценки, тестовой оценки, получено 31 матрицу размерностью 30x26, 1 матрицу размерностью (30x30), 30 матриц размерностью (11x30), 31 матрицу размерностью (5x30).
Рассчитываются значения соответствующих показателей.
Выполняется ранжирование промежуточных результатов. На основании этих данных определено итоговое ранжирование.
Используя математический аппарат ИАС ФОРЭГ выполняется обработка данных.
Обработка полученной информации при социометрическом опросе показана в табл. 2 (см.табл. 2), табл.3 (см.табл. 3). Итоговые результаты представлены в табл. 4 (см.табл. 4).
Технология дает возможность провести комбинированное многокритериальное экспертное оценивание, проанализировать результаты и на их основе создать экспертную группу.
Результаты оценки критериев и групп критериев экспертами
эксперты критерии 10 28 11 12 1 26 13 27 14 18 15 16 29 17 7
1 0,040 0,044 0,038 0,036 0,041 0,041 0,039 0,039 0,041 0,039 0,043 0,038 0,039 0,043 0,043
2 0,040 0,039 0,033 0,039 0,046 0,041 0,043 0,038 0,042 0,042 0,038 0,041 0,042 0,037 0,039
3 0,026 0,038 0,037 0,025 0,024 0,024 0,027 0,029 0,025 0,027 0,025 0,027 0,029 0,025 0,026
4 0,037 0,030 0,045 0,031 0,036 0,033 0,036 0,033 0,037 0,036 0,036 0,036 0,039 0,032 0,036
5 0,029 0,028 0,028 0,042 0,027 0,024 0,028 0,026 0,028 0,020 0,024 0,030 0,028 0,028 0,029
6 0,045 0,039 0,046 0,043 0,043 0,047 0,044 0,046 0,046 0,046 0,040 0,049 0,040 0,046 0,045
7 0,034 0,037 0,032 0,033 0,036 0,032 0,036 0,034 0,035 0,034 0,031 0,033 0,035 0,034 0,033
8 0,032 0,020 0,029 0,033 0,031 0,027 0,030 0,031 0,031 0,033 0,041 0,032 0,032 0,031 0,031
9 0,029 0,029 0,035 0,028 0,029 0,028 0,027 0,028 0,028 0,031 0,026 0,028 0,033 0,024 0,030
10 0,029 0,012 0,025 0,031 0,027 0,027 0,031 0,029 0,027 0,027 0,028 0,032 0,029 0,028 0,028
11 0,032 0,031 0,038 0,036 0,035 0,031 0,032 0,033 0,038 0,033 0,042 0,031 0,029 0,034 0,033
12 0,026 0,023 0,022 0,028 0,029 0,027 0,027 0,025 0,023 0,028 0,029 0,025 0,029 0,025 0,027
13 0,042 0,046 0,047 0,041 0,048 0,039 0,041 0,043 0,041 0,043 0,043 0,044 0,044 0,042 0,042
14 0,050 0,049 0,051 0,049 0,052 0,049 0,051 0,051 0,051 0,057 0,051 0,049 0,052 0,053 0,051
15 0,040 0,041 0,027 0,036 0,039 0,042 0,042 0,039 0,039 0,042 0,038 0,042 0,050 0,042 0,042
16 0,048 0,046 0,042 0,038 0,046 0,049 0,047 0,049 0,043 0,049 0,046 0,049 0,047 0,049 0,046
17 0,037 0,035 0,035 0,042 0,036 0,039 0,038 0,036 0,035 0,036 0,039 0,036 0,042 0,034 0,039
18 0,045 0,043 0,042 0,048 0,046 0,048 0,044 0,047 0,043 0,040 0,041 0,041 0,047 0,046 0,047
19 0,034 0,030 0,039 0,034 0,031 0,038 0,035 0,036 0,035 0,036 0,031 0,034 0,032 0,035 0,032
20 0,048 0,054 0,051 0,046 0,045 0,049 0,049 0,045 0,047 0,045 0,049 0,048 0,049 0,049 0,047
21 0,053 0,060 0,055 0,052 0,057 0,058 0,054 0,058 0,054 0,052 0,052 0,053 0,055 0,052 0,054
22 0,050 0,052 0,049 0,053 0,049 0,053 0,051 0,050 0,052 0,051 0,052 0,052 0,051 0,058 0,050
23 0,042 0,049 0,039 0,043 0,043 0,040 0,045 0,043 0,041 0,043 0,049 0,047 0,042 0,043 0,043
24 0,040 0,039 0,049 0,041 0,039 0,047 0,039 0,044 0,047 0,039 0,042 0,037 0,041 0,041 0,041
25 0,034 0,047 0,036 0,038 0,031 0,031 0,031 0,035 0,036 0,036 0,038 0,031 0,031 0,035 0,032
26 0,037 0,039 0,031 0,036 0,035 0,036 0,034 0,036 0,036 0,036 0,032 0,035 0,034 0,037 0,035
Продолжение таблицы 1
19 32 20 9 31 22 21 30 3 24 23 25 8 2 6 итоговое значение
0,041 0,041 0,040 0,045 0,037 0,050 0,042 0,041 0,040 0,044 0,039 0,047 0,043 0,042 0,041 0,041
0,042 0,044 0,042 0,041 0,039 0,035 0,041 0,042 0,041 0,041 0,042 0,041 0,044 0,043 0,045 0,041
0,029 0,027 0,025 0,025 0,035 0,025 0,026 0,027 0,028 0,022 0,030 0,026 0,027 0,027 0,027 0,027
0,035 0,036 0,036 0,037 0,036 0,037 0,038 0,037 0,035 0,035 0,034 0,035 0,030 0,032 0,037 0,035
0,029 0,029 0,024 0,025 0,025 0,027 0,028 0,029 0,028 0,032 0,029 0,029 0,030 0,029 0,025 0,028
0,043 0,040 0,039 0,046 0,043 0,045 0,044 0,045 0,046 0,044 0,044 0,047 0,049 0,045 0,045 0,044
0,039 0,035 0,036 0,035 0,036 0,032 0,033 0,036 0,033 0,034 0,034 0,044 0,030 0,032 0,034 0,034
0,031 0,033 0,035 0,032 0,031 0,035 0,032 0,031 0,032 0,029 0,033 0,040 0,031 0,032 0,038 0,032
0,027 0,028 0,029 0,027 0,025 0,029 0,027 0,028 0,029 0,028 0,029 0,032 0,029 0,028 0,025 0,028
0,024 0,029 0,028 0,028 0,030 0,026 0,029 0,028 0,028 0,027 0,028 0,030 0,032 0,028 0,028 0,028
0,034 0,032 0,031 0,031 0,035 0,030 0,032 0,033 0,031 0,035 0,033 0,027 0,032 0,035 0,031 0,033
0,022 0,027 0,029 0,025 0,022 0,026 0,025 0,025 0,025 0,026 0,027 0,030 0,025 0,027 0,026 0,026
0,044 0,044 0,044 0,042 0,041 0,042 0,041 0,041 0,042 0,041 0,040 0,035 0,043 0,041 0,042 0,042
0,055 0,051 0,049 0,052 0,055 0,048 0,050 0,051 0,051 0,052 0,049 0,040 0,047 0,052 0,052 0,051
0,042 0,042 0,048 0,047 0,038 0,042 0,042 0,040 0,039 0,041 0,041 0,037 0,044 0,046 0,037 0,041
0,044 0,046 0,047 0,049 0,048 0,040 0,048 0,047 0,046 0,046 0,048 0,049 0,050 0,049 0,050 0,047
0,031 0,035 0,037 0,036 0,036 0,036 0,037 0,038 0,039 0,037 0,036 0,038 0,040 0,039 0,037 0,037
0,049 0,047 0,045 0,049 0,047 0,048 0,046 0,047 0,040 0,044 0,049 0,040 0,037 0,044 0,049 0,045
0,037 0,034 0,033 0,033 0,033 0,036 0,033 0,034 0,039 0,037 0,032 0,041 0,032 0,037 0,034 0,035
0,047 0,045 0,049 0,046 0,045 0,043 0,049 0,047 0,046 0,048 0,048 0,049 0,045 0,046 0,044 0,047
0,055 0,054 0,052 0,051 0,059 0,053 0,052 0,052 0,051 0,054 0,052 0,057 0,059 0,057 0,041 0,054
0,052 0,056 0,043 0,048 0,050 0,056 0,051 0,050 0,052 0,051 0,052 0,039 0,053 0,039 0,051 0,051
0,048 0,041 0,042 0,043 0,041 0,041 0,043 0,043 0,047 0,047 0,040 0,037 0,036 0,047 0,041 0,043
0,040 0,037 0,049 0,040 0,046 0,041 0,041 0,041 0,046 0,042 0,042 0,045 0,041 0,033 0,040 0,042
0,030 0,035 0,033 0,032 0,030 0,040 0,035 0,033 0,033 0,034 0,034 0,030 0,034 0,034 0,035 0,034
0,030 0,036 0,035 0,039 0,039 0,038 0,036 0,037 0,036 0,030 0,037 0,037 0,037 0,036 0,035 0,036
Данная технология может быть использована как исследовательское или учебное пособие (лабораторный практикум) для специалистов, изучающих методы оценки и выбора решений по многим критериям, а так же как прикладное средство решения многокритериальных задач в различных областях деятельности человека.
В результате проведенной работы в экспертную группу отобраны: Кравцов Антон Вадимович, Андреева Светлана Динисовна, Жданенко Алексей Петрович, Шинин Виталий Петрович, Бородин Вадим Петрович, Безсмертный Николай Николаевич, Силизнева Александра Борисовна.
Ранжирование с учетом "веса" экспертов
кого выбрали Кто выбрал Всего Ранг
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
1 11 12 5 7 6 3 8 52 15
2 7 9 8 6 7 7 5 5 10 3 8 66 5
3 9 7 11 6 7 7 2 4 10 10 4 8 76 1
4 12 7 9 9 7 10 4 10 8 66 5
5 11 5 7 6 10 10 4 53 13
6 7 11 7 9 6 5 45 17,5
7 12 9 7 8 11 7 7 6 67 3
8 1 5 9 9 4 7 10 3 48 16
9 7 12 1 6 7 9 4 6 7 4 5 68 2
10 11 6 6 4 8 35 23
11 7 1 11 7 2 6 34 24,5
12 9 9 9 2 5 10 44 19
13 11 12 9 5 5 3 8 53 13
14 11 12 8 5 7 10 10 63 9
15 9 9 8 6 9 2 10 43 20
16 7 6 9 6 28 26
17 9 6 7 5 7 10 4 5 10 63 9
18 6 5 11 30
19 8 6 10 3 27 27
20 7 6 7 9 6 5 40 21
21 7 9 7 9 2 34 24,5
22 9 7 11 7 4 7 45 17,5
23 1 11 7 9 9 6 10 53 13
24 7 11 1 5 6 9 4 10 10 3 66 5
25 9 6 7 9 5 6 4 5 10 3 64 7
26 1 8 2 5 16 29
27 12 6 7 5 7 37 22
28 7 1 11 6 7 6 6 7 4 8 63 9
29 8 5 4 17 28
30 7 9 11 7 2 6 10 10 62 11
Результаты социометрического опроса
Номер эксперта ФИО эксперта Количество выборов Количество выборов с учетом веса голосов Нормированное значение выборов Ранжирование
8 Андреева С. Д. 12 99 0,067 2
26 Безсмертный Н.Н. 11 71 0,048 5
9 Бородин В.П. 13 94 0,064 3
10 Вихрова В.А. 3 14 0,010 25
1 Гришин В.Г. 5 42 0,029 14
24 Гринченко С.В. 4 22 0,015 20
11 Гуреев А.С. 9 53 0,036 10
25 Гурченко А.С. 4 24 0,016 19
12 Данюк Е.С. 3 18 0,012 22
16 Ефремов Ф.П. 6 37 0,025 15
13 Жданенко А.П. 12 99 0,067 2
14 Зайко О.В. 7 44 0,030 12
27 Иванов И.И. 6 29 0,020 17
15 Исаева К.М. 7 47 0,032 11
5 Калетник А.М. 4 32 0,022 16
17 Котко О.С. 5 26 0,018 18
30 Кравцов А.В. 13 106 0,072 1
18 Леонова А.В. 8 62 0,042 8
7 Лигачев Ф.М. 4 19 0,013 21
29 Любченко Н.И. 5 29 0,020 17
20 Никифоров С.П. 5 43 0,029 13
19 Николаенко Т.В. 4 17 0,012 23
28 Петров С.П. 5 42 0,029 14
3 Рева Ю.Ф. 3 15 0,010 24
22 Сидоренко В.В. 8 56 0,038 9
21 Силизнева А.Б. 10 84 0,057 4
23 Сухоруков А.А. 9 63 0,043 7
6 Сушко В.Н. 5 24 0,016 19
2 Турев А.Д. 8 65 0,044 6
4 Шинин В.П. 12 94 0,064 3
Суммарные ранги экспертов и итоговый ранг
Эксперты 8 26 9 10 1 24 11 25 12 16 13 14 27 15 5 17 30 18 7 9 20 19 28 3 22 21 23 3 2 4 Сумма Ранг
30 1 1 2 3 2 1 2 1 1 1 2 1 3 1 3 2 4 1 2 4 1 2 5 1 2 1 2 3 4 1 61 1
8 2 2 4 5 1 4 1 1 2 2 3 4 3 4 1 2 3 4 4 3 3 3 2 4 6 5 3 4 2 8 96 2
13 3 4 2 2 7 2 4 3 2 4 4 2 2 19 6 1 15 3 1 6 8 1 7 2 1 4 5 7 5 5 139 3
4 4 3 3 6 3 6 8 4 4 6 1 3 1 3 2 30 2 8 3 1 10 3 4 6 3 6 7 2 1 2 2 4
9 5 5 7 1 8 3 3 6 5 7 5 8 5 17 19 4 11 10 7 5 2 8 1 9 5 8 1 8 6 9 201 5
21 6 7 5 4 4 21 5 7 7 5 5 5 6 8 4 29 18 2 10 16 4 5 3 3 7 9 6 6 7 4 229 7
26 7 8 8 15 6 7 5 5 6 8 8 7 7 5 7 4 1 9 13 2 9 7 11 8 4 2 10 12 3 11 212 6
23 8 17 11 14 25 4 23 8 15 14 14 9 15 9 20 18 13 15 5 9 5 17 8 5 10 7 4 16 10 7 358 8
2 9 28 29 18 23 22 22 9 8 15 7 6 8 7 5 6 9 19 11 17 7 9 12 7 12 12 11 5 13 14 401 10
22 10 24 6 30 23 28 24 11 3 9 15 10 16 10 30 28 14 11 14 7 11 6 6 12 8 10 13 1 12 10 426 11
18 11 6 18 7 5 8 7 12 14 30 28 27 17 20 8 11 10 21 6 12 12 12 14 15 13 3 8 13 8 3 387 9
16 12 27 10 27 9 20 21 10 29 29 29 8 26 14 13 27 19 5 16 13 5 13 13 17 11 11 8 17 16 15 492 14
11 13 9 19 28 22 18 15 15 9 17 16 11 28 2 21 15 5 12 18 15 16 18 9 10 16 15 16 9 19 12 454 13
14 14 18 17 16 13 19 25 17 13 16 13 15 29 25 14 12 21 16 8 8 30 10 16 13 17 21 15 19 14 20 507 16
15 15 13 20 26 15 16 14 21 28 3 11 18 9 6 9 7 23 14 20 10 17 15 10 15 14 18 12 21 8 6 431 12
1 16 26 9 19 21 29 29 13 12 10 9 16 18 15 12 19 30 18 15 11 13 13 18 11 9 23 19 14 17 16 505 15
20 17 29 26 8 26 9 23 22 27 26 27 26 29 26 21 16 12 6 23 14 19 22 14 18 18 19 18 11 11 18 586 19
28 17 25 16 10 14 16 16 14 16 25 26 25 14 16 15 14 26 20 26 19 18 19 19 14 15 16 14 18 20 17 546 18
6 19 15 27 25 20 23 20 20 10 18 17 16 19 17 26 24 16 27 29 22 22 11 23 20 21 14 20 25 21 21 606 22
5 20 20 22 24 21 29 28 18 11 12 18 14 10 12 10 8 5 13 24 18 14 20 21 22 19 22 23 21 24 13 545 17
17 21 23 15 20 19 27 17 19 16 19 12 12 11 11 23 23 20 22 27 21 20 25 17 26 24 25 17 26 15 22 599 20
27 22 10 28 13 12 10 9 25 26 24 23 29 24 21 25 26 17 25 12 20 24 21 25 23 22 17 25 15 18 23 607 23
29 22 19 21 21 28 26 27 26 21 23 22 21 20 13 11 9 25 29 21 25 23 26 26 27 25 27 20 30 25 19 662 28
24 24 21 25 9 29 24 18 23 19 11 10 20 21 27 16 22 28 23 15 26 26 23 22 24 26 24 24 23 26 26 644 25
25 25 19 14 23 17 15 12 16 18 22 20 22 23 22 29 17 21 7 9 22 25 16 20 30 28 29 27 20 22 27 602 21
12 25 14 12 17 16 12 13 30 23 27 24 13 13 14 17 13 29 28 30 27 15 29 29 25 30 28 22 27 28 29 650 26
10 27 11 24 12 11 14 26 24 19 13 20 24 22 28 24 25 7 17 19 24 29 30 30 29 19 20 30 29 28 24 658 27
7 28 16 23 29 17 11 10 27 24 21 23 23 25 30 27 21 24 23 28 29 27 27 24 19 27 13 29 10 27 28 689 29
3 28 22 13 22 27 15 18 28 22 20 19 19 12 13 18 10 8 14 17 28 20 24 27 28 23 30 26 28 23 30 624 24
19 30 12 8 11 10 13 11 29 25 28 25 30 26 29 28 20 27 26 22 30 28 28 28 21 29 26 28 24 30 25 705 30
Промежуточные и итоговые данные записаны в файлы формата XLS и при необходимости можно построить диаграммы или продолжить анализ средствами электронной таблицы Excel.
4. Выводы
Для реализации технологии создана информационно-аналитическая система ФОРЭГ (Формирование Экспертной Группы). С помощью ИАС ФОРЭГ решены следующие задачи: ввод исходных данных, определение количества экспертов в группе, определение весовых коэффициентов критериев и их групп, документальная оценка экспертов, самооценка и взаимооценка, социометрическая оценка, тестовая оценка психологических характеристик, обработка результатов опроса, расчет итогового значения.
Полученные результаты дают возможность сделать вывод, что при использовании комбинации методов: статистических, математических, эвристических и экспертных можно рассчитывать на объективный результат решения поставленной задачи.
Литература
1. Вдовиченко И.Н. Методи обробки шформацй, отрима-но!' в результат експертно!' оцшки // НАН Украины Физико-механический институт им. Г.В. Карпенко. Межведомственный сборник научных трудов "Вiдбiр i обробка шформацй'". - Львов, 2006. - Вып. 24(100). - С. 56 - 58.
2. Громов Ю.Ю. Системный анализ в информационных технологиях / Ю.Ю. Громов, Н.А. Земской, А.В. Лагутин. - Тамбов: Изд. ТГТУ, 2004. - 320 с.
3. Елтаренко Е. А. Обработка экспертных оценок / Е. А. Елтаренко, Е.К. Крупинова. - М.: МИФИ, 1982. - 96 с.
