Альтернативный вариант коэффициента конкордации Текст научной статьи по специальности «Математика»

УДК [614.23:616.71]:519.8 ББК 56.138.7-4:22.181

Г. А. Попов, Е. А. Попова АЛЬТЕРНАТИВНЫЙ ВАРИАНТ КОЭФФИЦИЕНТА КОНКОРДАЦИИ G. A. Popov, E. A. Popova ALTERNATIVE OF COEFFICIENT OF CONCORDANCE

Анализируются недостатки классического коэффициента конкордации для случая проведения экспертной процедуры в форме строгой ранжировки. Предлагается формула, устраняющая один из недостатков классического коэффициента конкордации. Предлагается также альтернативный вариант коэффициента конкордации.

Ключевые слова: коэффициент конкордации, экспертная оценка, недостатки, альтернативный вариант, строгая ранжировка.

The shortcomings of classical coefficient of concordance for the case of the expert procedure in the form of a strict ranking are analyzed. The formula that eliminates one of the drawbacks of the classical coefficient of concordance is presented. An alternative version of the coefficient of concordance is also proposed.

Key words: сoefficient of concordance, expert evaluation, shortcomings, alternative, strict ranking.

Введение

Проблема оценки степени согласованности мнений отдельных экспертов является одной из ключевых при проведении любых экспертных процедур. Требуется, чтобы уровень согласованности мнений экспертов был достаточно высоким для того, чтобы результаты проведенной экспертной процедуры признать приемлемыми. При низком уровне согласованности мнений результаты экспертизы отвергаются.

Существуют различные методы оценки степени согласованности мнений экспертов [1]. Одним из наиболее известных является коэффициент конкордации W. Коэффициент W представляет собой суммарную величину отклонений мнений экспертов от случая, когда эти мнения проставлены совершенно случайным образом и эта величина пронормирована с целью приведения её к интервалу [0, 1], т. е. разделена на максимально возможное ее значение. Доказывается, что если рассматривать мнения экспертов как отдельные наблюдения случайной выборки, то W, как случайная величина, при достаточно большом числе экспертов и оцениваемых объектов (или критериев) практически описывается стандартным ^-распределением. Достаточно полно перечисленные выше проблемы рассмотрены в [1, 2]. Однако, как будет показано ниже, при анализе содержания коэффициента W, этот метод имеет ряд недостатков. Будет предложен вариант их устранения и, кроме того, будет приведено альтернативное определение коэффициента конкордации.

Анализ содержания коэффициента конкордации

Прежде всего проведем содержательный анализ сути коэффициента конкордации в экспертных процедурах с целью выявления, какие аспекты согласованности мнений отражены в этом коэффициенте. Как будет показано ниже, классический коэффициент конкордации отображает отклонение имеющихся экспертных оценок от наихудшего варианта этих оценок. Отметим, что при этом плохих вариантов, вообще говоря, много, и поэтому непонятно, с каким из этих вариантов происходит сравнение - в отличие от наилучшего варианта оценок, который является единственным.

Предположим, что экспертная процедура проводится по методу строгой ранжировки. Введем обозначения: n - число оцениваемых объектов; N - число экспертов; tj - ранговая

оценка j-го объекта i-м экспертом. Таблицу {tj ; i = 1, N ; j = 1, n} будем называть таблицей экс-

пертных оценок или экспертной выборкой. Тогда коэффициент конкордации W вычисляется по следующей формуле [1]:

.2-Е (^ ^ "

1¥ = ^ (п ■ - ,2) ' • (1)

где = Т tiJ - сумма всех оценок '-го объекта

i=\

Классическое выражение (1) для случая строгой ранжировки получено на основе следующих соображений. Предположим, что все ранговые оценки каждого из экспертов проставлены

абсолютно случайным образом. Тогда для любого ' (1 < ' < п) все элементы tJJ (/ = 1, N) '-го

столбца являются случайными величинами, равномерно распределенными на множестве целых

чисел {1, 2, ... , п}, т. е. каждое из значений принимается с вероятностью —.

п

Поэтому

п +1

п 1 М) = Т I-5 - = -

N п + 1

где М - знак математического ожидания, и, следовательно, М(Т tiJ■) = N--------. Естественно

V' о

i=1 2

в качестве меры отклонения данного экспертного выбора от абсолютно случайного варианта заполнения таблицы взять среднеквадратическое отклонение средней экспертной оценки '-го показателя от наиболее худшего случая, когда все оценки проставлены случайно, т. е. величину

—Т t --Д1=1 ' 2 ,

, а в качестве оценки по всем показателям мерой отклонения данной вы-

11

борки взять величину

=т|Т>.-^ ^тт%-^ . (2)

'=1 V 2=1 ^ У '=1 V’ i=l

Однако диапазон значений оценки Ап N зависит от п и N. Поэтому Ап N пронормировали

ее максимальным значением по всем возможным экспертным выборкам, т. е. в качестве оценки следует рассматривать величину

А. „

W =•

'' м кг

^ тах{Ап,N | {^-}}’

которая изменяется в интервале от 0 до 1.

Величина WnN и есть классический коэффициент конкордации W при строгой ранжировке. Для того чтобы в этом убедиться, найдем тах{АnN | }} .

Из эвристических соображений ясно, что АnN достигает наибольшего значения, когда экспертные оценки {tJJ} полностью согласованы, т. е. одинаковы в каждом столбце - в этом случае А nN измеряет отклонение наиболее регулярного случая, когда мнения всех экспертов полностью совпадают, от наиболее нерегулярного, когда мнения всех экспертов абсолютно слу-

2

I=1

чайны. Например, если (для простоты) все оценки '-го столбца равны ' (т. е. tJJ■ = ' для всех

I = ), то N ТЧ = ' и = Т(' - пру = Т/ - (п + 1)Т'+(п,

j=1

j=1

j=1

получаем

(3)

max{An,N1 {h}}=12 (n - n) N •

После подстановки (2) в (3) получаем (1). Выведем (3) строгими методами.

в f N лгП +1 Y fN лгП +1 Y -тт Пусть о1 =1 2_^t y - N 2 I +1 2=1 tk - N 2 I • Переставим ty и tlk местами; тогда величина 51 перепишется в виде

( N

5, =

n +1

■ +

+

Е 'k - N

n +1

' + 'и

Откуда выводим ( A^N = AnN ; A(^N значение AnN после перестановки tlj и tlk местами):

д(2) -a(1) = 5 - 5 =

n,N n,N 52 51

( N

Е t , -N

n +1

■ +1„,

у /=1,іФІ

-ІЕ t, - n

n +1

+

+

-N лТп +1

Е t/k- N_^+',

\ =1,іфІ 2

(-N лгп +1

-\Е 'i-- n-2- .

= ('ik - 'i, )('i, + 'ik + 2B, - ('ik + 'і, + 2Bk )) = 2 (11k - 11j )(B j - Bk ) >

(4)

d Ns ATn +1 где Dm = Е 'im - N —2— - остаток суммы в m-м столбце.

і=1,іфІ

Из (4) выводим: если пары (tlj; tЛ) и (В-;Вк) неодинаково монотонны (т. е. либо одновременно tl < tlk , но В- > Вк, либо tl > tlk , но В- < Вк), то после перестановки местами tl-и tlk значение функции Ап ы возрастает.

Полученный результат позволяет сформировать следующий алгоритм нахождения тах{АпМ | {tгj■}} . Алгоритм включает п этапов - по числу столбцов в экспертной выборке. Рассмотрим этап 1.

1. Перебираем все столбцы, в которых есть хотя бы одно число 1. Пусть это столбцы

с номерами ^ ^ и tг(l) ;(1) =ь tгс« с« = ь tгс« с« =1 и в'\ вJ(-)• в(2 -соот-

Ч ,'1 г2 ,'2 гN ,^ л ^

ветствующие остатки сумм по столбцам.

Отметим, что в экспертной таблице ровно N чисел, равных 1. Далее все номера /1, /2, iN различны, т. к. в каждой строке имеется только одно число, равное 1. Укажем также, что среди номеров '1 , '2, ' могут быть равные - в одном столбце может быть несколько элементов

1. Упорядочим В(1), В('2), В(1 в порядке возрастания; получим В((1)) < В^.)) < ... < В((1^^). Для

Jn

простоты изложения предположим, что в исходном ряде В(1) < В(1) <... < В(1>, т. е. все последо-

?о)

Jn

вательности Bj , B^, BJN и B^), B((|2), B((|)) совпадают. Переставим местами элемен-

Jn

'( Ji)’ ,2 )

( Jn )

2

2

2

2

i=1,i

i=1,i ФІ

2

2

2

2

i =1

2

ты Х (1) .(1) и t.m .(1) = 1. Так как Х.(1) .(1) > t.(1) .(1) (напомним, все Х.. > 1) и В.1) < В(1), то, ввиду г2 , .1 г2 , .2 г2 г2 .

(4), значение АпЫ после перестановки не уменьшится. Затем последовательно переставляем местами числа Х.(1) ,(1) и Х (1) ,(1) = 1; Х.(1) ,(1) и Х (1) ,(1) = 1, ..., Х.(1) ,(1) и Х (1) ,(1) = 1. При каждой

г32 1 г3 3 4 ’Л г4 4 ^ ,.1 ^ N

перестановке значение Ап N не уменьшается. Следовательно, после завершения процесса перестановки все элементы 1 будут находиться только в столбце .1 - он состоит только из 1. В остальных столбцах все элементы > 2 . Переходим к этапу 2.

2. Перебираем все столбцы, содержащие число 2; пусть Х.(2) (2) = 1, Х.(2) (2) = 1, ...,

г1 ,.1 г2 ,.2

Х (2) (2) = 1 и В(2), В(2), ..., В(2) - соответствующие остатки сумм по столбцам. Далее процеду-

гN N 2 .

ра проводится аналогично этапу 1. Получаем после завершения всех перестановок: все элементы столбца 71(2) равны 2, а все элементы экспертной выборки, не вошедшие в столбцы .1(1), 71(2), будут > 3 ; при этом значение Ап N не уменьшается.

Остальные (п — 2) этапа реализуются аналогично. После завершения всех этапов получим таблицу оценок, в которой все элементы столбца .1(1) равны 1, столбца .1(2) равны 2, , ..., ; столбца равны п • .1(п) = п, т. е. получается в точности та же таблица, что и при получении

соотношения (3) на основе эвристических рассуждений.

Таким образом, классический коэффициент конкордации Ж (см. (1)) описывает меру отклонения данной экспертной выборки от абсолютно случайной выборки.

Недостатки классического определения коэффициента конкордации

Оценка степени согласованности мнений экспертов на основе коэффициента Ж имеет ряд недостатков, анализируемых ниже.

Сама базовая суть выражения (1), оценивающего отклонение текущих оценок от абсолютно случайных, является некорректной. Каждая оценка Х. получается в результате синтеза (наложения) объективной составляющей для .-го объекта (или критерия) т. на величину обычно

неслучайного личного опыта эксперта по контакту с -м критерием (объектом). Пусть этот опыт измеряется величиной 4., которую можно считать случайной (хотя данное положение также

требует уточнения), т. е. Х. = ф(т.,4.), где ф (синтезирующая функция) зависит от характера набора критериев. Отсюда следует, что если объективная составляющая мала, т. е. т. << 4. , то оценка Х. может рассматриваться как случайная величина. Но если т. сравнима с 4. или доминирует, то предположение о случайности Х. становится некорректным. Как следствие, использование х2 -распределения для оценки значимости Ж, когда Ж близко к 1 и объективная составляющая доминирует, т. е. т. >> 4. , становится некорректным. Отметим, что в простейшем случае построения числовых оценок критериев часто синтезирующую функцию ф можно считать аддитивной: ф(Х, 4) = а • Х + в • 4 + у.

Таким образом, использование коэффициента Ж в качестве меры согласованности мнений с привлечением статистического аппарата %2 -распределения проверки значимости критериев является, вообще говоря, некорректным.

При определенных сочетаниях параметров п и N коэффициент Ж не может в принципе принимать нулевого значения. Это противоречить сути Ж как коэффициента согласованности, а именно, если мнения экспертов абсолютно не согласованы, то мера их согласованности Ж должна равняться нулю. Данный недостаток связан с тем, что все Х. принимают целочисленные значения, а «идеальная» ситуация, с которой сравниваются оценки Х. (когда все оценки

. ( п +1 п +1 п +1 I

случайны), задается вектором I 2 ; 2 ; ^ ^ I, компоненты которого при нечетном зна-

чении (п +1)N являются полуцелыми числами. При этом минимальное значение величины

2 п Ґ 1 Л2

Г2^ I 1 і п

а,,і- <5)

и, следовательно,

1 2 п

Ж = —12 Ап-у— >----------------------------------------------------------4-=-3- (6)

N2 (п3 - п) N2 (п3 - п) N2 (п2 -1)

Более детально исследуем возможные значения АпУ (и Ж).

Если (п +1)N - чётное число, то либо N - четное, либо (п +1) - четное число. Пусть N -четное число. Тогда экспертная таблица (табл. 1), при которой Ж= 0, следующая:

Таблица 1

N

N

Сумма ^ Х. в каждом столбце равна (п +1) —, и, следовательно, АпУ = 0 .

1=1 2

п -1

Если п +1 - четное число (т. е. п - нечетное), а N - нечетное, то положим п0 = —2—; тогда п = 2п0 +1, и в качестве искомой экспертной таблицы можно взять табл. 2.

Таблица 2

Поясним способ заполнения табл. 2, а также покажем, что для табл. 2 АпУ = 0 .

Пары строк (4; 5), (6; 7), N - 1; N1 заполняются аналогично табл. 1. Суммы элементов

первых двух строк

= Ч1к + Ч2к

равны следующим числам: при к < п0

имеем

8к = к + (п0 + (к +1)) = п0 + 2к +1. Отсюда следует, что при к < п0 величина 8к, убывая, принимает последовательно значения: п0 + 3, п0 + 5, п0 + 7 , ., п0 + (2п0 +1) = 3п0 +1. При к > п0 +1 имеем 5к = к + (к - п0) = 2к - п0, и, следовательно, 5к при изменении к от (п0 +1) до (2п0 +1)) принимает последовательно значения:

(п0 + 1) + (п0 + 1 - П0) = П0 + 2; (п0 + 2) + (п0 + 2 - П0) = П0 + 4; П0 + 6 ;

2п0 +1 + (2п0 +1 — П)) = 3п0 + 2 . (7)

Таким образом, сумма 5к при к = 1, п пробегает все целые значения от п0 + 2 до 3п0 + 2 - всего 3п0 + 2 — (п0 + 2) = 2п0 +1 = п значений.

Третья экспертная строка выбирается таким образом, чтобы, как и выше, при заполнении строк (4; 5), (6; 7), ..., N- 1; N), к-му по величине в порядке возрастания числу ряда (7) сопоставлялось число п — к , именно числу к с 5к = п0 + т сопоставляется в третьей строке число

п — т +1 = п + п0 +1 — 5к . Тогда сумма первых трех элементов в к-м столбце равна:

5к + (п + п + 2 — 5к) = п + п + 2 = 3п0 + 3.

Отсюда следует: сумма всех элементов к-го столбца равна:

о N — 3, ЛЛ_Ы(п +1)

^ Ьк = 3п0 +3 + “ (п +1) = “ ,

к=1 2 2

. — ^ N (п +1)

т. е. для всех I = 1, п имеем > =---------, откуда следует

к=1 2

п ( N

у=1 V ¿=1

п +1 2

= 0.

Таким образом, если (п +1)N - четное число, то значение W = 0 достижимо. Пусть

(п +1)N - нечетное число, т. е. N - нечетно, п - четное, и пусть п = 2п0. Покажем, что тогда

оценка (6) также достижима.

Рассмотрим следующую экспертную таблицу (табл. 3), аналогичную табл. 2.

Таблица 3

^^^^^Критерий Эксперт 1 2 3 По - 1 По По + 1 По + 2 П - 1 П

1 1 2 3 по - 1 по по + 1 по + 2 п - 1 =по+ +(по-1) п = по + по

2 По по + 1 по + 2 по + (по - 2) = = п - 1 по + (по - 1) = = п 1 2 по - 1 по

& По +1 по + 3 по + 6 3по - 3 3по - 1 по + 2 по + 4 -2 3 3по

3 п п - 2 п — 4 п - 2(по - 2) = 4 п - 2(по - 1) = 2 п - 1 п - 3 п - 2(по - 1) + 1 = 3 п - 2по + 1 = 1

4 1 2 3 по - 1 по по + 1 по + 2 п - 1 п

5 п п - 2 п - 2 по + 2 по + 1 по п - 2 2 1

N - 1 1 2 3 по - 1 по по + 1 по + 2 п - 1 п

N п п — 1 п - 2 по + 2 по + 1 по по - 1 2 1

2

В табл. 3 приведены также соответствующие значения Sk = + 12к . Как видно из табл. 3,

Sk принимает значения от п0 +1 до 3п0 - всего 2п0 = п различных значений.

Как и выше, в к-м столбце значение в третьей строке ¿3к равно п — т +1, где т находится из условия Sk = п0 + т, т. е. т = Sk — п0 .Отсюда выводим: для любого к = 1, п

^ и о / о 1\ N — 3, 1\ о 1 N(п +1) 3п0 + 3 N(п +1) — 1

Е ^ = Sk + (п — Sk + п0 + 1) + ^^ + 1) = И + 1 + ^ '------*— = ' ^----------.

Отсюда выводим:

д ^ (^ N (п +1) У ^ (N (п +1) — 1 N (п +1) У п

д=е ^ =Е [ 2 ^ = 4.

п

Таким образом, экспертная табл. 3 обеспечивает достижение в (5) условия Д nN = 4.

Модификация классического коэффициента конкордации

Выше мы выяснили, что классическое определение коэффициента конкордации W имеет ряд недостатков. В данном разделе попытается устранить некоторые из этих дефектов W, модифицировав соотношение (1).

«Подправим» классическое определение W: если N(п +1) четное число, то определение W остается прежним, если же N(п +1) - нечетное число, то предлагается, ввиду (5), заменить Дп N на следующее выражение:

. ч 2

п ( N N(п +1) — 1

Ап,ы “XI X

і=1 V і=1 2

Тогда, как показано выше, значение А 'пЫ = 0 достижимо, например, когда экспертная выборка задается табл. 3.

А

-г-» ттг п, N

В этом случае, как и выше, полагаем п =--------------------------.

тах{А П,N \{% }}

Найдем D = тах{А 'п N \ {^}} . Как и при выводе (3), опираясь на соотношение аналогичное (4), убеждаемся, что D достигается, когда каждый столбец экспертной табл. 3 состоит из одних и тех же чисел. Отсюда выводим (см. (3)):

п N(п +1) - Г2

П ^ ^ • N (п + 1) — 1 ^ ^ д ті -2 ЛТ// 1\ 1\^ • { N (п +1) — 1

D “XIX і-------0 =Х Nі — N ((п +1) — 1)Х і + г' V 7

і=1V і=1 2 J і=1 і=1 V 2

= N2 п3 — п п(2N(п +1) — 1)

12 4

Отсюда вытекает: если N (п +1) — нечетное, то следует положить коэффициент конкордации W равным

'X ГХ,—м (п+1)—1 ^

2

п = 12 2=13г=\-------------------------^—.

N2 (п3 — п)— 3п(2 N (п +1) — 1)

2

Таким образом, окончательно приходим к следующему определению коэффициента кон-кордации W, уточняющего формулу (1):

^ (N N(n +1) - Г2

III ч- 2

W = 12 J= V ‘=

' N2 (n3 - n) - 3n(2N(n +1) -1) • 5(n, N) ’ где

Г 0, если N (n +1) четное число,

5(n, N) 4/ J n

11, если N (n +1) нечетное число.

Альтернативное определение коэффициента конкордации

Рассмотрим сам основополагающий подход к построению коэффициента конкордации: сравнение текущей экспертной выборки с ее наиболее худшим вариантом. Как было отмечено выше, само понятие «худший вариант» означает, что в выборке нет никакого объективного содержания. В случае же, когда в выборке большой объем объективного содержания, т. е. экспертные мнения достаточно согласованы, рассмотрение выборки как набора случайных чисел при проверке степени согласованности, вообще говоря, проблематично и не вполне корректно.

Исходя из сказанного, предлагается при оценке согласованности сравнивать текущую выборку не с наихудшим случаем, а с наилучшим случаем, когда мнения всех экспертов полностью согласованы, и чем меньше различие между ними, тем выше степень согласованности мнений экспертов. Структура выборки для наилучшего случая, когда мнения экспертов полностью согласованы, известна: в каждом столбце экспертной таблицы все ранговые оценки полностью совпадают. Поэтому предлагается следующая процедура построения коэффициента согласованности Иг - аналога коэффициента конкордации.

N __

1. Находим = у Ху для всех у = 1, п, и упорядочиваем {tj) в порядке неубывания; по-

i=1

лучаем вариационный ряд ^ < ^2) < ... < ^и).

2. Если для некоторых k и I имеем ^^), то находятся о2 и о2 (аналоги дисперсий)

П 2

по формуле о2 = У(^- - tj) , где у - номер столбца, соответствующий ^) или Х(1). Затем их

/=1

2 2 2 2 2 2

сравнивают: если ок < о1, то полагаем Х{к) < ^), если ок > о1, то Х{к) > ^); при ок = о1 вели-

чины t(k) и ^) упорядочиваются произвольным образом.

3. Полагаем:

п ' N V Д п, N

Аn,N =IIItj - NJ

{.Я* ^ шах{ Д „, N\{tj}} ‘

Найдем Дтах = шах{/\пГ1 \{Ху}}. Из эвристических соображений ясно, что Дтах = тах{Д^ \{у}},

т. к. в обоих случаях находятся различия между наилучшим и наихудшим вариантами экспертной таблицы. Проведем строгое обоснование данного факта.

Рассмотрим более обобщенный вариант экспертной таблицы, когда оценки Ху могут принимать любые положительные значения с единственным условием:

■А . _ п(п +1)

у Х = 1 + 2 +... + п = —------,

¿—1 У Г) ’

у =1 2

и найдем Атах при данном предположении. Выберем произвольно номера столбцов j < k и увеличим все значения у-го столбца на 5 > 0, а все значения к-го столбца уменьшим на 5 так, чтобы новые номера столбцов у и к1 удовлетворяли условию у < к1 . Тогда /А пЫ изменится на следующую величину:

0 = ('(у) + 5 - ^1 ) +('(к) - 5 - ^1 ) - ('(у) - щ ) +('(к) - Щ ) = 25(N(к - у) -\- + 5) ,

. 7. ~ к +1 ~ у +1

где Аку = ґ(к) - ґ( у), к1 и у - новые номера к-го и у-го столбцов, к = —2—, 7 = —2— . Для того

чтобы в результате описанного преобразования значения /Ап щ не уменьшались, необходимо 0 > 0 , т. е. N(к - у) - Аку + 5 > 0 или 5 > А^ - N(к - у) . При этом необходимо, чтобы взаимная последовательность у-го и к-го столбцов не изменялась для того, чтобы к > у , т. е. '(у) + 5 - '(к) -5, или

А и

5 < ~2~. Таким образом, получаем следующие условия на 5 :

5 > А^ - N (к-%),

А.. (8)

5 <^~,

2

что выполнимо при > Ау - N (к - ~), т. е. А ^ < 2 N (к - ~ ). Если не все столбцы табл. 3 сов-

падают, то номера у и к, удовлетворяющие последнему условию, существуют, т. к. в противном случае имеем N • п > А1у + Аук + Акп > 2N[(к -1) + (к - у) + п - к)] = 2п • N - противоречие.

Следовательно, если не для всех пар (у, к) Аук = 0, то можно найти такие пары (у, к), которые позволяли бы выбрать 5 > 0, удовлетворяющее условиям (8), и на основе описанной выше процедуры увеличить значение /Ап N . Процесс увеличения значений величины /Ап N закончится, когда А ук = 0 для всех пар к и у. Это означает, что

. . . N (п +1) - 5п^

'(1) = '(2) = ... = '(п) = 2 .

Таким образом, мы доказали, что при непрерывном изменении возможных значений оценок

Атах = Ц , ^ - М) . (9)

]=1 V 2 /

Но выше было показано, что описанная оценка также достижима при обычных ранговых оценках, приведенных в табл. 2 и 3. Следовательно, соотношение (9) справедливо для ранговых оценок tiJ.

Подводя итог, приходим к следующему выражению для введенного коэффициента согласованности мнений экспертов:

N 2

12!к, > - NJ)

# = —Л---------------,

где

N2 (п3 - п), если N (п +1) - четное число;

N (п3 - п)- 3п[2N(п +1) -1], если N(п +1) - нечетное число.

D„n =

В случае классического коэффициента конкордации W исследованы вероятностные свойства W в предположении, что оценки tj являются случайными [1]. Полученные распределения используются при анализе степени согласованности мнений экспертов на основе W. Анализ вероятностных свойств W при указанном выше предположении о случайном характере ti}. является отдельной самостоятельной задачей.

Заключение

Таким образом, в ходе исследований выявлены недостатки классического определения коэффициента конкордации, предложен способ его совершенствования. Приведено также альтернативное определение коэффициента конкордации, имеющее ряд содержательных достоинств по сравнению с классическим определением для случая высокой степени согласованности.

Результаты исследований открывают ряд новых направлений в совершенствовании коэффициента конкордации. Это, в частности, перенос полученных результатов на случай нестрогой ранжировки оценок, исследование вероятностных свойств введенных в работе оценок. Данные вопросы предполагается исследовать в дальнейшем.

СПИСОК ЛИТЕРАТУРЫ

1. Евланов Л. Г. Экспертные оценки в управлении / Л. Г. Евланов, В. А. Кутузов. - М.: Экономика, 1978. - 133 с.

2. Бююль А. SHSS: искусство обработки информации: Анализ статистических данных и скрытых закономерностей / А. Бююль, П. Цефель. - СПб.: ООО «ДиаСофт», 2002. - 608 с.

REFERENCES

1. Evlanov L. G., Kutuzov V. A. Ekspertnye otsenki v upravlenii [Expert evaluation in management]. Moscow, Ekonomika Publ., 1978. 133 p.

2. Biuiul' A., Tsefel' P. SHSS: iskusstvo obrabotki informatsii: Analiz statisticheskikh dannykh i skrytykh zakonomernostei [SHSS: proficiency of information processing: Analysis of statistical data and hidden regularities]. Saint Petersburg, OOO «DiaSoft», 2002. 608 p.

Статья поступила в редакцию 14.06.2013

ИНФОРМАЦИЯ ОБ АВТОРАХ

Попов Георгий Александрович - Астраханский государственный технический университет; д-р техн. наук, профессор; зав. кафедрой «Информационная безопасность»; [email protected].

Popov Georgiy Aleksandrovich - Astrakhan State Technical University; Doctor of Technical Sciences, Professor; Head of the Department "Information Security"; [email protected].

Попова Екатерина Александровна - Астраханский государственный технический университет; старший преподаватель кафедры «Информационная безопасность»; [email protected].

Popova Ekaterina Aleksandrovna - Astrakhan Technical State University; Senior Lecturer of the Department "Information Security"; [email protected].