Подход к расчету весовых коэффициентов ранговых оценок экспертов при выборе варианта развития информационной системы Текст научной статьи по специальности «Компьютерные и информационные науки»

НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА

НАУКА и ОБРАЗОВАНИЕ

Эл № ФС77 • 48211. Государственная регистрация №0421200025. ISSN 1994-0408

электронный научно-технический журнал

Подход к расчету весовых коэффициентов ранговых оценок

экспертов при выборе варианта развития информационной

системы

# 08, август 2013

Б01: 10.7463/0813.0580272

Постников В. М., Спиридонов С. Б.

УДК 519.81

Россия, МГТУ им. Н.Э. Баумана [email protected]

Введение. Информационные системы (ИС) используют практически во всех областях человеческой деятельности. В процессе эксплуатации ИС, из-за непрерывного развития средств вычислительной техники, обслуживающему персоналу постоянно приходится решать задачи, касающиеся определения пути дальнейшего развития аппаратно-программной и организационной структуры системы, для удовлетворения постоянно растущих потребностей ее пользователей. Частичная неопределенность целого ряда исходных параметров ИС, на начальном этапе определения пути ее дальнейшего развития, не позволяет в полной мере корректно использовать существующие математические методы для выбора наилучшего варианта развития ИС.

В [1], для решения задач такого типа, предлагается использовать метод экспертного анализа, либо в виде ранговой оценки сравниваемых вариантов, либо в виде сопоставления этих вариантов. Использование метода экспертного анализа позволяет обойти многие преграды за счет применения интуиции, логического мышления и практического опыта экспертов, поэтому лицо принимающее решение (ЛИР), часто на практике использует этот метод, в различных его вариациях, для проведения сравнительного анализа альтернативных вариантов развития ИС и выбора среди них наилучшего варианта.

Однако использование метода экспертного анализа не всегда позволяет получить экспертам согласованный вариант развития ИС, поскольку между экспертами рабочей группы возможны и существенные разногласия. В связи с этим проблема увеличения согласованности мнений экспертов рабочей группы, при проведении экспертного анализа, является весьма актуальной. Возможны различные пути решения этой проблемы, одним http://technomag.bmstu.ru/doc/580272.html 395

из которых, согласно [2], является предварительный расчет и практическое использование весовых коэффициентов ранговых оценок экспертов при обработке результатов экспертного опроса. Эти весовые коэффициенты должны учитывать уровень компетентности экспертов и уровень согласованности суждений экспертов, чтобы снижать уровень несогласованности мнений экспертов при ранжировании вариантов развития ИС и выборе среди них наилучшего. Однако, к сожалению, подходы к расчету весовых коэффициентов, предлагаемые в [2, 3] не позволяют в полной мере решать проблему снижения несогласованности мнений экспертов.

Постановка задачи. Необходимо разработать подход к выбору весовых коэффициентов ранговых оценок экспертов, позволяющий ЛПР увеличить степень согласованности мнений экспертов рабочей группы, при сравнении альтернативных вариантов развития ИС, с целью получения от них адекватной информации по ранжированию этих вариантов.

Решение задачи. На основе изучения целого ряда работ [1-8] предложен комплексный подход к организации экспертного анализа, основанный на расчете и использовании весовых коэффициентов ранговых оценок мнений экспертов. Подход включает:

- рекомендации по формированию компетентной рабочей группы экспертов;

- правила использования экспертами стандартизированной ранговой системы;

- рекомендации по организации и проведению экспертного опроса;

- расчет весовых коэффициентов ранговых оценок экспертов;

- правила обработки результатов экспертного опроса.

Основу предложенного подхода составляют следующие принципы:

- уровень компетентности эксперта зависит от целого ряда факторов, отражающих как профессиональные, так и личные его качества;

- уровень компетентности рабочей группы экспертов зависит от уровней компетентности отдельных экспертов, входящих в ее состав;

- уровень согласованности мнений экспертов рабочей группы зависит от уровня компетентности экспертов этой группы, входящих в состав одной научной школы.

При этом согласно [4 - 6] можно считать, что чем больше уровень компетентности экспертов рабочей группы, тем меньше уровень несогласованности их мнений, при условии, что эксперты принадлежат к одной научной школе.

Рассмотрим более подробно основные аспекты предложенного подхода.

На первом этапе формируют рабочую группу экспертов, которая способна корректно решать поставленные перед ней задачи. Согласно [7], уровень компетентности экспертов рабочей группы (М ) должен отвечать следующему условию:

0,67 < М <1,00 (1)

При этом значение (М), согласно [7], вычисляется по следующей формуле:

1 т

М = - К (2)

т j=l у

Где Кj - уровень компетентности ] -го эксперта;

т - количество экспертов в составе рабочей группы. Для оценки уровня компетентности ( Кj ) каждого ] -го эксперта ( j = 1, т )

предлагается использовать выражение (3):

1 5

К у = Ки (3)

у 51=1 У

В выражение (3) включены пять обобщенных показателей К--, учитываемых при

у

оценке уровня компетентности у - эксперта, при этом (0 < К- - < 1).

У

К1 у - учитывает профессиональную подготовленность, стаж и опыт работы;

К2у - учитывает уровень информированности в сфере научных публикаций;

К3у - учитывает, на основе самооценки, стремление к профессиональному росту, умение

работать в коллективе, а также дисциплинированность и организованность; К4у - учитывает личные качества эксперта, данные ему коллегами экспертами;

К5у - учитывает уровень согласованности действий эксперта с членами формируемой

рабочей группы при выполнении тестового задания.

Оценку коэффициентов К-- осуществляют на основе рекомендаций, приведенных в

У

[3, 7, 9], с учетом особенностей построения вербально - числовых шкал, описанных в [10]. После этого вычисляют уровень компетентности эксперта К у по выражению (3).

Далее составляют упорядоченный ряд экспертов, ранжированный по уровню их компетентности, начиная с эксперта, у которого уровень компетентности имеет

наибольшее значение, т. е. K = max K ■

l jem J

После этого формируют состав экспертной группы, последовательно выбирают экспертов из ранжированного ряда экспертов, начиная с эксперта, у которого уровень компетентности имеет наибольшее значение. При этом количество экспертов в составе рабочей группы, согласно [7, 11, 12] рекомендуется брать не меньше числа сравниваемых вариантов, но не более 10.

После формирования окончательного состава экспертов рабочей группы следует провести оценку уровня ее компетентности, используя условие (1). Если условие (1) выполняется, то рабочую. группа следует признать работоспособной, иначе следует провести повторное формирование группы.

На втором этапе задают правила использования экспертами стандартизированной ранговой системы. Варианту, который занимает первое место, эксперт должен присвоить ранг равный единице, за второе место - ранг, равный двум и т. д. Если варианты у эксперта равноценны, то их называют связанные, и они должны иметь у этого эксперта одинаковый ранг. Численное значение ранга варианта, входящего в состав связанных вариантов, представляет собой среднее значение суммы мест этих вариантов в ранговой

системе эксперта. Вычисление ранга связанных вариантов (гсв) эксперт выполняет по следующей формуле rce = L + (h +1) / 2

Где L - число вариантов более предпочтительных, чем группа связанных вариантов; h - число связанных вариантов.

Сумма рангов ( r ■), которую каждый j- ый эксперт присваивает всем сравниваемым

вариантам в стандартизированной ранговой системе, определяется выражением

n n(n +1) i =1

Где Г.. - ранг i - го варианта, который присвоил ему j- ый эксперт (i = 1, n), (j= 1, m); j

n - количество сравниваемых вариантов; m - количество экспертов в составе рабочей группы.

На третьем этапе проводят опрос экспертов, и заполняют таблицу, подобную табл.1, в которую заносят результаты опроса всех экспертов.

Таблица 1

Результаты ранжирования вариантов экспертами рабочей группы

Код варианта Ранговые оценки ва рианта экспертами г. г (гг - г) (гг - г)2

Э1 Э2 Э) Эт

В1 Г11 г12 ги г1т Г1 (г1 - г) (г1 - г)2

В2 Г21 г22 Г2у г2т г2 (г2 - г) (г2 - г)2

В1 Г1 гг 2 гу г гт Г (гг - г) (гг - г)2

Вп Гп1 гп 2 гщ гпт гп (гп - г) (гп - г)2

При этом для определения суммарного ранга (г ) 1-го варианта, согласно [2, 8],

следует использовать простое суммирование рангов этого вариантов, которые дали ему все эксперты. Поэтому имеем:

т

гг = £ Г1]

У =1

Суммарный средний ранг всех сравниваемых вариантов ( г ) для стандартизированной ранговой системы, согласно [2], определяется из следующего выражения:

1 п т (п + 1) т

Г = = 2 п1 =1 у =1 ^

(5)

(6)

Значение (г — г) - это квадрат отклонения суммарного среднего ранга 1 - го варианта от

суммарного среднего ранга всех вариантов;

Величина £ - сумма квадратов отклонений суммарных рангов каждого из вариантов от суммарного среднего ранга всех вариантов, согласно [2], определяется из следующего выражения:

п

п <■)

£ =£ (г - г)2

1=1

(7)

На четвертом этапе проводят расчет весовых коэффициентов ранговых оценок

экспертов. Предлагаются два варианта расчета весовых коэффициентов.

*

Вариант 1. Весовые коэффициенты (а у ) рассчитывают с учетом уровня

компетентности экспертов ( К у ) по формуле:

т

а,- = К, / I К (8)

J ^ -=1 J

Тогда, с учетом весовых коэффициентов, скорректированные значения рангов *

вариантов ( г--) , по сравнению с теми значениями, которые первоначально присвоили им

У

эксперты ( г--) , вычисляют по формуле

У

г* =аУ •т • гу (9)

Если эксперты имеют одинаковые весовые коэффициенты ранговых оценок, то а - = 1/ т

и г* = ГУ

При этом для стандартизированной ранговой системы, для средних значений рангов всех

*

вариантов, выполняется условие г = г

Вариант 2 . Весовые коэффициенты рассчитывают с учетом результатов выполнения экспертами тестовых заданий. По результатам выполнения экспертами тестового задания выполняют следующие действия:

- строят общую матрицу исходных ранговых оценок сравниваемых вариантов, на основе ранговых оценок отдельных экспертов ( г--);

У

- вычисляют коэффициент ранговой корреляции Спирмена ( р- ) для сравнения ранговых оценок каждой пары экспертов по формуле:

1 6Д (гУ - ггк)2

Рук =1--2=--00)

У п(п2 -1) - 0,5(sy - )

Н 3 к 3

пРи этом я- = 1 (/. - г-) и =1- tk) У к

Где 1- номер оцениваемого варианта;

п - число вариантов, подлежащих сравнению;

г,-,-, г., V -к

я- и Як - показатели повторяемости рангов для сравниваемых экспертами вариантов; г -, ^ - число повторений каждого ранга соответственно у - -го и к -го экспертов;

к - ранги, данные 1-ому варианту соответственно - -ым и к -ым экспертами;

Н,Н - число рангов, которые повторяются соответственно у у -го и к -го экспертов.

Если у экспертов повторяющиеся ранги отсутствуют, то выражение (10) упрощается и принимает вид:

6 А (ГУ - Гк)2

у п(п2 —1)

- на основе значений, полученных с помощью выражения (11), составляют матрицу

коэффициентов ранговой корреляции Спирмена ( р-у ) , отражающую уровень

У

согласованности мнений каждой пары экспертов;

- вычисляют суммарный коэффициент согласованности мнений каждого _]-го эксперта ( ру ) с остальными экспертами рабочей группы по формуле:

т-1

Р= £ Рк (12)

У к=1 ук

При этом значения ру находятся в границах от - ( т — 1) полная несогласованность

до + ( т — 1) полная согласованность эксперта с остальными членами рабочей группы. При нормировании величины ру относительно значения полной несогласованности

экспертов, получаем, что значение модифицированного суммарного коэффициента

**

согласованности мнений каждого ]-го эксперта ру с остальными экспертами рабочей

группы определяется по формуле:

р* =р+ (т — 1) (13)

После этого весовые коэффициенты ранговых оценок экспертов (а * ) рассчитывают

**

с учетом значений ру по формуле:

т

а** = р**/ £рр (14)

7 7 у=1 7

Тогда, с учетом весовых коэффициентов, полученных на основе выполнения экспертами тестового задания, скорректированные значения рангов сравниваемых

**

вариантов ( V-- ), по сравнению с теми, которые первоначально присвоили им эксперты

У

( Г--) , вычисляют по формуле:

У

У =а~ ■ т ■ Гу (15)

При этом для стандартизированной ранговой системы, для средних значений рангов

**

сравниваемых вариантов, выполняется условие Г = Г

Далее, с учетом [2], для предложенных двух вариантов задания весовых коэффициентов ранговых оценок экспертов, формулы для обработки результатов экспертного опроса имеют следующий вид:

1 п т (П + 1) т

г =-! I Гц = к 7 (16)

п*=1 у=1* 2

* т *

г* = I - (П)

* У =1

$ п $ о

5=1 (Г- г)2 (18)

¡=1

%% т **

У =1

Г* = I Гу 09)

** п ** о 5=1 (Г* - г)2 (20)

¡=1

Для оценки уровня согласованности мнений экспертов рабочей группы, используют коэффициент конкордации т.е. коэффициент ранговой корреляции экспертов этой группы, который обычно рассчитывают по формуле, предложенной Кендаллом. При этом W , согласно [2], определяют, как отношение фактически полученной величины Б к ее максимальному значению 5тах для одной и той же группы экспертов и числа сравниваемых вариантов, по формуле

=_ 5

5___ Ат т2(п3 7

У

ГУ ГУ* ГУ £у**

где 5 = 5 или 5 = 5 соответственно для первого и второго вариантов расчета весовых коэффициентов

Ж =-= 1 9, 3 ,-(21)

тах V? т (П - П) - т I ТУ

12 7=1 У

1 Н , з

т. =--X 03 -) (22)

у 12 к=\ Ук

Ту - коэффициент, учитывающий наличие связанных вариантов у _]- го эксперта;

Н - число групп одинаковых рангов вариантов у ] -го эксперта; к - номер группы одинаковых рангов вариантов у _]-го эксперта ( к = 1, Ну ); Iу - число одинаковых рангов вариантов в к-ой группе у ] - го эксперта.

При отсутствии связанных вариантов у всех экспертов рабочей группы, выражение (21) упрощается и принимает следующий вид:

Ж = -°- = (23)

¿шах т2(п3 -п)

где о = о или о = о соответственно для первого и второго вариантов расчета весовых коэффициентов

2

Оценку значимости коэффициента конкордации проводят по критерию X Согласно [2]

величина Жт( п — 1) имеет X распределение с и = п — 1 степенями свободы.

2

Расчетное значение критерия X определяют по следующему выражению

X2 = т • (п—1)-Ж (24)

2

Табличное значение критерия Xт определяют обычно при уровне значимости

а = 0,05 и числе степеней свободы и = п — 1. 2 2

Если X > Xт, т е. расчетное значение больше табличного, то с вероятностью 95%

можно утверждать, что мнения экспертов рабочей группы являются вполне

2 2

согласованными, если X < Xт , то мнения экспертов не являются согласованными.

Для качественной оценки степени согласованности мнений экспертов также можно использовать вербально-числовые шкалы [13], предложенные Марголиным и Харрингтоном, которые приведены соответственно в табл.2 и табл. 3.

Таблица 2

Оценка степени согласованности мнений экспертов по шкале Марголина

№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,1 Согласованность отсутствует

2 0,1 < Ж < 0,3 Согласованность очень слабая

3 0,3 < Ж < 0,5 Согласованность слабая

4 0,5 < Ж < 0,7 Согласованность умеренная

5 0,7 < Ж < 0,9 Согласованность высокая

6 0,9 < Ж < 1,0 Согласованность очень высокая

Таблица 3

Оценка степени согласованности мнений экспертов по шкале Харрингтона

№ Значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,2 Согласованность очень низкая

2 0,2 < Ж < 0,37 Согласованность низкая

3 0,37 < Ж < 0,64 Согласованность средняя

4 0,64 < Ж < 0,8 Согласованность высокая

5 0,8 < Ж < 1,0 Согласованность очень высокая

Если уровень согласованности мнений экспертов рабочей группы, вычисленный с

2 2 2

помощью коэффициента конкордации, удовлетворяет критериюX , т.е. X > Х^ , или

степень согласованности мнений экспертов не ниже высокой, ЛПР может считать, что ранжирование вариантов, выполненное экспертами рабочей группы, проведено корректно и может быть использовано для принятия окончательного решения..

Пример.

Рассмотрим пример, который носит иллюстративный характер и служит лишь для демонстрации использования предложенного подхода для ранжирования альтернативных вариантов развития ИС.

ЛПР для сравнения пяти вариантов развития ИС на основе предложенного в работе подхода, сформировал рабочую группу в количестве 6 экспертов. Уровни компетентности экспертов соответственно равны:

К = 1,0 , К2 = 0,8 , К3 = 0,8 , К 4 = 0,8 , К5 = 0,8 , К6 = 0,6 .

Уровень компетентности рабочей группы экспертов, вычисленный по выражению (2), равен М = 0,8 . Поскольку (0,67 <М ) , то согласно условию (1), рабочая группа экспертов является компетентной и работоспособной.

После проведения экспертного опроса, результаты ранжирования вариантов развития ИС, выполненные экспертами, сведены в табл. 4 (столбцы 2-7).

При этом считаем, что весовые коэффициенты ранговых оценок экспертов, одинаковые.

Таблица 4

Ранговые оценки вариантов развития ИС, выставленные экспертами рабочей группы

Код варианта Ранговые оценки экспертов Г (г - г) (т " г)2

Э1 Э2 Э3 Э4 Э5 Э6

В1 1 2 1 2 2 4 12 - 6 36

В2 2 1 3 1 3 5 15 - 3 9

В3 3 4 2 3 1 2 15 - 3 9

В4 4 3 5 5 4 3 24 6 36

В5 5 5 4 4 5 1 24 6 36

Г ■ ] 15 15 15 15 15 15 п 2 х (г. — г)2 = 126 1=1 1

столбец 1 2 3 4 5 6 7 8 9 10

Значения г. , вычисленные по формуле (5), приведены в табл. 4 (столбец 8).

Значение г вычисляем по формуле (6) и получаем г = 18, Вычисленные значения (г. — г)

2

и (г — г) соответственно приведены в табл. 4 (столбцы 9 и 10).

п 2

Значение £ вычисляем по формуле (7) и получаем £ = X (г — Г) = 126

¿=1 1

Поскольку у экспертов отсутствуют связанные варианты, то расчет коэффициента конкордации проводим по формуле (23):

Ж =_12£_= 12 126 = 0 35

" ТО ТО

т2 • (п3 — п) 62 • (53 — 5)

2

Оценку значимости коэффициента конкордации проводим по критерию X , при уровне значимости а=0,05 и числе степеней свободы и = п —1 = 4, по формуле (24)

X2 = т • (п—1)-Ж = 6 • 4 • 0,35 = 8,4

2 2

Используя [14] определяем табличное значение критерия Xт , получаем Х^ = 9,5

2 2

Поскольку X < Хт , т е. расчетное значение меньше табличного, поскольку ( 8,4 < 9,5 ),

то с вероятностью 95% можно утверждать, что мнения экспертов не являются согласованными.

Однако, работу экспертов рабочей группы следует признать все-таки успешной, поскольку при уровне значимости а = 0,10 и числе степеней свободы и = п — 1 = 4,

получаем — 7,78 . В этом случае %2 > > т.е. расчетное значение больше

табличного, поэтому с вероятностью 90% можно утверждать, что мнения экспертов являются согласованными. ЛПР этот результат не устраивает, и он желает получить более согласованное решение экспертов. Поэтому далее, для получения от экспертов более согласованного решения, используем процедуру задания весовых коэффициентов ранговых оценок экспертов. При этом применяем и сравнивает два варианта задания весовых коэффициентов ранговых оценок экспертов.

*

Вариант 1. Весовые коэффициенты ранговых оценок экспертов (а- ) задаем с учетом уровня компетентности экспертов. Согласно выражению (8) имеем:

а — 0,20833 , 02 — 0,16666 , 03 — 0,16666 , а*4 — 0,16666 , 05 — 0,16666 , 06 — 0,12500

Скорректированные, с учетом весовых коэффициентов, значения ранговых оценок

*

сравниваемых вариантов ( V--), вычисленные по формуле (9), приведены в табл. 5.

Таблица 5

*

Скорректированные, с учетом весовых коэффициентов а • , ранговые оценки вариантов развития ИС, полученные от экспертов рабочей группы

Код Ранговые оценки экспертов * г * (гг - г) (г* — г )2

вариа Э1 Э2 Э3 Э4 Э5 Э6 г

нта

В1 1,25 2,0 1,0 2,0 2,0 3,0 11,25 - 6,75 45,56

В2 2,50 1,0 3,0 1,0 3,0 3,75 14,25 - 3,75 14,06

В3 3,75 4,0 2,0 3,0 1,0 1,50 15,25 - 2,75 7,56

В4 5,0 3,0 5,0 5,0 4,0 2,25 24,25 6,25 39,06

В5 6,25 5,0 4,0 4,0 5,0 0,75 25,00 7 49,00

Результаты расчетов, проведенные последовательно по формулам (18) и (23) соответственно показывают, что

$ п $

$ п $ о

5—1 (г - г)2 —155,24 г—1 1

12• 5* 12.155 24

Ж — ^-0-— 12 155,24 — 0,431

т2 • (п3 - п) 62 • (53 - 5)

2

Оценку значимости коэффициента конкордации проводим по критерию % , при уровне значимости а—0,05 и числе степеней свободы и — п —1 — 4, по формуле (24)

X2 = т • (п-1)-Ж = 6 • 4 • 0,431 = 10,35

2 2

Используя [14] определяем табличное значение критерия Хт и получает х^ = 9,5 2 2

Поскольку X > Хт, т.е. расчетное значение больше табличного (10,35 > 9,5), то с

вероятностью 95% можно утверждать, что мнения экспертов являются согласованными. Также имеем, что для Ж = 0,431, согласно табл. 2 и табл. 3, , согласованность мнений экспертов рабочей группы является соответственно слабой и средней с качественной точки зрения

**

Вариант 2 Весовые коэффициенты ранговых оценок экспертов (а^ ) задаем с

учетом результатов выполнения экспертами тестового задания. Считаем, что результаты выполнения экспертами тестового задания приведены в табл. 4.

Далее для каждой пары экспертов, учитывая то, что у них отсутствуют связанные факторы, по формуле (11) вычисляем коэффициент ранговой корреляции Спирмена , т.е. коэффициент согласованности их мнений. Полученные результаты заносим в табл. 6.

Таблица 6

Значения коэффициентов ранговой корреляции Спирмена для каждой пары экспертов

Э1 Э2 Э3 Э4 Э5 Э6 Суммарное значение (р.)

Э1 0 0,8 0,8 0,8 0,7 - 0,8 2,3

Э2 0,8 0 0,3 0,7 0,3 - 1,0 1,1

Э3 0,8 0,3 0 0,7 0,8 - 0,3 2,3

Э4 0,8 0,7 0,7 0 0,5 - 0,7 2,0

Э5 0,7 0,3 0,8 0,5 0 - 0,3 2,0

Э6 - 0,8 - 1 - 0,3 - 0,7 - 0,3 0 - 3,1

Далее по формуле (12) вычисляем суммарный коэффициент согласованности мнений каждого _]-го эксперта с остальными экспертами рабочей группы и получаем

р1 = 2,3 р2 = 1,1 р3 = 2,3 р4 = 2,0 р5 = 2,0 р6 =-3,1

Полученные результаты заносим в табл. 6, в последний столбец.

**

Далее по формуле (13) вычисляем значения р. - модифицированного суммарного

коэффициента согласованности мнений каждого ]-го эксперта с остальными экспертами рабочей группы. и получаем

р** = 7,3 р*** = 6,1 р3** = 7,3 р*** = 7,0 р*** = 7,0 р** = 1,9

Весовые коэффициенты (а* ) ранговых оценок экспертов, полученные на основе выполнения экспертами тестового задания, вычисляем по формуле (14) и имеем:

а

1*=0,2 , а*=0,166 , а*=0,2 , а*=0,191 , а*=0,191 , а***=0,052

Скорректированные, с учетом весовых коэффициентов, значения рангов

**

сравниваемых вариантов ( г-- ), вычисленные по формуле (19), приведены в табл. 7

ц

Таблица 7

**

Скорректированные, с учетом весовых коэффициентов а • , ранговые оценки вариантов развития ИС, полученные от экспертов рабочей группы

Код Ранговые оценки экспертов ** г ** (г - г) / ** \2 (г* - г)2

вариа Э1 Э2 Э3 Э4 Э5 Э6 г

нта

В1 1,20 2,00 1,20 2,30 2,30 1,25 10,25 - 7,75 58,49

В2 2,40 1,00 3,60 1,14 3,44 1,56 13,14 - 4,86 21,57

В3 3,60 4,00 2,40 3,44 1,14 0,64 15,28 - 2,72 7,35

В4 4,80 3,00 6,00 5,92 4,60 1,04 25,36 7,36 54,17

В5 6,00 5,00 4,80 4,60 5,92 0,45 25,97 7,97 63,52

Результаты расчетов, проведенные последовательно по формулам (20) и (23) соответственно показывают, что

** п ** о 5 = £ (г. - г)2 = 205,1

*=1 * **

12 ■ 5 12. 205 1 Ж =-=-= = 0,569

т2 ■ (п3 - п) 62 ■ (53 - 5)

2

Оценку значимости коэффициента конкордации проводим по критерию X , при уровне значимости а=0,05 и числе степеней свободы и = п —1 = 4, по формуле (24)

X2 = т■ (п-1) ■Ж = 6■ 4■ 0,569 = 13,656

2 2

Используя [14] определяем табличное значение критерия Xт , получаем Х^ = 9,5

Поскольку X >Хт, т.е. расчетное значение больше табличного (13,656 >9,5), то с

вероятностью 95% можно утверждать, что мнения экспертов являются согласованными. Также имеем, что для Ж = 0,569 , согласно табл. 2 и табл. 3, согласованность мнений экспертов рабочей группы является соответственно умеренной и средней с качественной точки зрения

При этом использование весовых коэффициентов ранговых оценок экспертов, полученных по результатам выполнения экспертами тестового задания, дает большую

согласованность мнений экспертов, чем использование весовых коэффициентов, полученных на основе уровня компетентности экспертов.

Согласно результатов, приведенных в табл. 5 и табл. 7, получаем, что ранжирование вариантов развития ИС по степени их предпочтительности имеет следующий вид B1 У B2 У B3 У B4 У B5 , при этом вариант B1 - наилучший.

Выводы.

1. Предложен комплексный подход к организации проведения экспертного анализа для корректного сравнения и ранжирования альтернативных вариантов развития ИС и увеличения согласованности мнений экспертов рабочей группы.

2. Предложены два варианта расчета весовых коэффициентов ранговых оценок экспертов, соответственно на основе использования уровня компетентности экспертов и на основе использования результатов выполнения экспертами тестового задания.

3. Рассмотрен пример, иллюстрирующий возможность практического использования предложенного подхода к увеличению согласованности мнений экспертов.

Список литературы

1. Каблашова И.В., Цуканова А.А. Управление качеством процессов производства. Воронеж: Воронеж. гос. техн. ун-т, 2012. 201 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974. 160 с.

3. Зерный Ю.В., Полываный А.Г., Якушин А.А. Управление качеством в приборостроении. М.: Новый центр, 2011. 479 с.

4. Афоничкин А.И., Михаленко Д.Г. Управленческие решения в экономических системах. СПб.: Питер, 2009. 480 с.

5. Гапоненко Т.В. Управленческие решения. Ростов н/Д.: Феникс, 2008. 284 с.

6. Горбашко Е.А. Управление качеством. СПб.: Питер, 2008. 384 с.

7. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. М.: Омега-Л, 2009. 383 с.

8. Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. М.: КНОРУС, 2011. 568 с.

9. Михненко П. Секреты эффективных бизнес-решений. М.: NT Press, 2007. 288 с.

10. Токарев Б.Е. Маркетинговые исследования. М.: ИНФРА-М, 2011. 512 с.

11. Крылов А.В. О проблемах организации экспертизы // Проблемы полиграфии и издательского дела. 2006. № 4. С. 117-122.

12. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985. 32 с.

13. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. 2006. № 5. С. 14-16.

14. Теория статистики / под. ред. Г.Л. Громыко. М.: ИНФРА-М, 2009. 476 с.

SCIENTIFIC PERIODICAL OF THE BAUMAN MSTU

SCIENCE and EDUCATION

EL № FS77 - 48211. №0421200025. ISSN 1994-0408

electronic scientific and technical journal

Approach to calculation of weighting coefficients of experts' rank assessments when selecting a development option for an information system

# 08, August 2013

DOI: 10.7463/0813.0580272

Postnikov V.M., Spiridonov S.B.

Bauman Moscow State Technical University, 105005, Moscow, Russian Federation

[email protected]

An approach to calculation of weighting coefficients of experts' rank assessments, which is aimed at improvement of processing results of an expert survey, was proposed. This approach was designed to increase the concurrence level of experts' opinions within a formed working group. Weighting coefficients are calculated either considering known numerical values of experts' experience levels or on the basis of experts' rank assessments produced from a test assignment. Recommendations on formation of a competent working group of experts who belong to the same school of sciences, as well as rules for using the normalized rank system, are at the heart of this approach. An example that illustrates efficiency of the proposed approach was presented in this paper.

Publications with keywords: information system, expert analysis, competence of the expert, rank evaluation of the expert opinion, the weighting coefficient ranking evaluation of the expert opinion

Publications with words: information system, expert analysis, competence of the expert, rank evaluation of the expert opinion, the weighting coefficient ranking evaluation of the expert opinion

References

1. Kablashova I.V., Tsukanova A.A. Upravlenie kachestvomprotsessovproizvodstva [Quality management of processes of production]. Voronezh, VSTU Publ., 2012. 201 p.

2. Beshelev S.D., Gurvich F.G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of expert assessments]. Moscow, Statistika, 1974. 160 p.

3. Zernyy Yu.V., Polyvanyy A.G., Yakushin A.A. Upravlenie kachestvom vpriborostroenii [Quality management in instrument engineering]. Moscow, Novyy tsentr, 2011. 479 p.

4. Afonichkin A.I., Mikhalenko D.G. Upravlencheskie resheniya v ekonomicheskikh sistemakh [Management decisions in economic systems]. St. Petersburg, Piter, 2009. 480 p.

5. Gaponenko T.V. Upravlencheskie resheniya [Management decisions]. Rostov-on-Don, Feniks, 2008. 284 p.

6. Gorbashko E.A. Upravlenie kachestvom [Quality management]. St. Petersburg, Piter, 2008. 384 p.

7. Lukicheva L.I., Egorychev D.N. Upravlencheskie resheniya [Management decisions]. Moscow, Omega-L, 2009. 383 p.

8. Orlov A.I. Organizatsionno-ekonomicheskoe modelirovanie. Teoriyaprinyatiya resheniy [Organizational-economic modelling. Theory of decision-making]. Moscow, KNORUS, 2011. 568 p.

9. Mikhnenko P. Sekrety effektivnykh biznes-resheniy [Secrets of effective business solutions]. Moscow, NT Press, 2007. 288 p.

10. Tokarev B.E. Marketingovye issledovaniia [Marketing research]. Moscow, INFRA-M, 2011. 512 p.

11. Krylov A.V. O problemakh organizatsii ekspertizy [Problems of organization of expertise]. Problemypoligrafii i izdatel'skogo dela, 2006, no. 4, pp. 117-122.

12. Emel'ianov S.V., Larichev O.I. Mnogokriterial'nye metodypriniatiia reshenii [Multicriteria decision making methods]. Moscow, Znanie, 1985. 32 p.

13. Margolin E. Metodika obrabotki dannykh ekspertnogo oprosa [Methodology data processing of expert survey]. Poligrafiya, 2006, no. 5, pp. 14-16.

14. Gromyko G.L., et al. Teoriia statistiki [Theory of statistics]. Moscow, INFRA-M, 2009. 476 p.