Неманипулируемый механизм экспертизы в региональной инвестиционной программе Текст научной статьи по специальности «Математика»

УДК 658.5.012.14

НЕМАНИПУЛИРУЕМЫЙ МЕХАНИЗМ ЭКСПЕРТИЗЫ В РЕГИОНАЛЬНОЙ ИНВЕСТИЦИОННОЙ ПРОГРАММЕ

В.Н. Бурков, И.Б. Васютык, А.М. Ханов, И.Ф. Набиуллин

В настоящей статье рассматривается применение модифицированного метода Делфи при разработке региональных программ для оценки затрат на реализацию тех или иных мероприятий, ожидаемого эффекта, а также рисков

Ключевые слова: механизм, программа, риск, экспертиза

Введение

Методы экспертных оценок находят широкое применение при разработке региональных программ*. Они применяются при оценке затрат на реализацию тех или иных мероприятий, ожидаемого эффекта, а также рисков.

Однако, их существенным недостатком является низкая достоверность получаемой информации, связанная с основном, с незаинтересованностью опрашиваемых а зачастую и с сознательным искажением экспертами сообщаемых данных. Последнее, как правило, связано с наличием собственных интересов у экспертов в решениях, которые будут приниматься на основе экспертизы. Пусть имеются п экспертов, оценивающих какой-либо объект по скалярной шкале (объектом может быть кандидат на пост руководителя, вариант финансирования и т.д.). Каждый эксперт сообщает оценку ё < а < Б, / = 1, п , где ё - минимальная, а Б - максимальная оценки. Итоговая оценка и = ПА), на основании которой принимается решение, является функцией оценок, сообщенных экспертами

А = (¿ъ 52, ... , Ап).

Обозначим г, - субъективное мнение /-го эксперта, то есть его истинное представление об оцениваемом объекте. Предположим, что процедура ПА) формирования итоговой оценки является строго возрастающей функцией а, причем тПа, а, ... , а) = а для всех ё < а < Б. Типичными процеду-

1 п

рами такого вида являются и = — £ (средняя

П ,=1

п

оценка), или и = '£а^1 ,

/=1

где '£а1 = 1,0 < а1 < 1, / = 1,п (взвешенная средняя

/=1

оценка)

Бурков Владимир Николаевич - ИПУ РАН, д-р техн. наук, профессор, тел. (495) 334-79-00

Васютык Игорь Борисович - ВГАСУ, аспирант, тел. (4732) 76-40-07

Ханов Анатолий Михайлович - ВГАСУ, аспирант, тел. (4732) 76-40-07

Набиуллин Илигиз Фнунович - ВГАСУ, аспирант, тел. (4732) 76-40-07

Обычно предполагается, что каждый эксперт сообщает свое истинное мнение г,, и поэтому при хорошем подборе группы экспертов средняя оценка

1 п п

—£ Г, либо взвешенная средняя оценка £аг (коп ,=1 ,=1

эффициенты а учитывают квалификацию экспертов) достаточно объективно и точно оценивает объект (гипотеза «объективности в среднем» группы экспертов). Однако, если эксперты заинтересованы в результатах экспертизы, то они не обязательно будут сообщать истинное мнение, то есть механизм ПА) может быть подвержен манипулированию (а ф

г)

Дадим формальное описание интересов экспертов.

Предположим, что каждый эксперт заинтересован в том, чтобы результат экспертизы был максимально близок к его истинному мнению, что можно выразить с помощью целевой функции:

¡(и, г,) = |и - г,|, /= 1, п .

При этом эксперт будет сообщать оценку а, доставляющую минимум

|и(51,52, ... , ¿п) - Г,|.

Механизм честной игры

Пусть п = 3; ё = 0; Б = 1,2; г1 = 0,1; г2 = 0,2; г3 = 0,3. В качестве процедуры Па) применяется «средняя оценка». Если а = г,, / = 1,3, то есть все эксперты сообщают истинные оценки, то и = 0,2. Итоговая оценка совпала с истинным представлением 2-го эксперта, и он удовлетворен полностью. Остальные два эксперта (1-й и 3-й) неудовлетворены, так как г1 < 0,2, а г3 > 0,2. Следовательно они попытаются сообщить другие оценки, а именно, первый эксперт будет занижать свою оценку (чтобы уменьшить итоговую), а второй - завышать (чтобы увеличить итоговую).

Пусть первый сообщает ¿1 = 0, а третий - =

1,2. В этом случае и = 0,47. Теперь недоволен и второй эксперт, который также будет занижать свою оценку. Окончательные оценки экспертов будут следующими: = 0 ; ¿3 = 1,2 ; и* = 0,4 .

Это так называемая ситуация равновесия Нэша. Она характеризуется тем, что ни один эксперт не может приблизить итоговую оценку к своей истинной, изменяя сообщаемую оценку, если остальные

эксперты не изменяют своих оценок. Таким образом, итоговая оценка и = 0,4 оказалась за счет манипулирования в два раза выше объективной средней

и0 = 0,2.

Как построить механизм экспертизы, дающий в ситуации равновесия Нэша итоговую оценку, максимально близкую к объективной средней (или к объективной взвешенной средней)?

В работах [1,2] было показано, что такой механизм существует в классе так называемых механизмов «честной игры» (неманипулируемых механизмов). Этот класс механизмов описан в работе [3]. Каждый механизм из этого класса определяется множеством чисел w(Q), задаваемых для каждого подмножества Q экспертов, причем w(0) = D, w(I) = d, где I - множество всех экспертов. При этом, если Ql с Q2, то w(Qi) > WQ2).

Итоговая оценка определяется по следующей процедуре. Упорядочим оценки экспертов по возрастанию и пронумеруем их соответственно, то есть 51 < s2 < ... < s„. Определяем подмножества экспертов Ql = {1}; Q2 = {1, 2}, ... , Qn = {1, 2, ... , n} и соответствующие им числа wi = w,(Qt),

i = 1, n -1. Находим номер k такой, что

Wk-l > Sk-1, Wk < Sk (существует один и только один такой номер) и определяем итоговую оценку:

и = min [Wk-1, Sk].

Итак, мы описали множество всех немани-пулируемых механизмов. Рассмотрим задачу определения среди них такого, который минимизирует максимальное абсолютное отклонение полученной итоговой оценки от средневзвешенной. Решение этой задачи определяется следующим множеством чисел w(Q):

w(Q) = [1 - A(Q)]D + A(Q)d, где Q - любое подмножество экспертов,

A(Q) = Zak .

keQ

Модифицированный метод Делфи

Рассмотрим предыдущую ситуацию. Примем сначала, что ai = 1/3, то есть в качестве итоговой оценки принимается средняя оценка. В этом случае мы получаем всего два различных числа W(Q): W1 =

0,8; w2 = 0,4; w3 = 0. При прежних истинных оценках экспертов г1 = 0,1; r2 = 0,2; r3 = 0,3 получаем, что k = 3, так как

W2 = 0,4 > r2 = 0,2 w3 = 0 < r3 = 0,3.

Поэтому итоговая оценка и = min {w2; r3} = 0,3.

Абсолютное отклонение от объективной средней равно 0,1, что в два раза меньше, чем в первоначальном механизме получения средней оценки. Пусть теперь третий эксперт является более квалифицированным, и его вес а3 = V2, в то время как у первого и второго экспертов а = %. Определим числа w(Q) для этого случая. Имеем: A(1) = а = 1/4,

A (1, 2) = а1 + а2= 1/2,

А(1, 2, 3) = 1.

Соответственно,

^(1) = 3/4 -1,2 = 0,9; w(l, 2) = 72-1,2 = 0,6;

м>(1, 2, 3) = 0.

Итоговая оценка не изменилась и по-прежнему равна и = 0,3. Заметим, что объективная средневзвешенная оценка равна:

1/4 -0,1 + 1/4 -0,2 + 1/2 -0,3 =0,225, так что абсолютная ошибка составляет 0,075. Сравним с механизмом средневзвешенного среднего. При этом механизме в ситуации равновесия оценки экспертов будут следующие:

А = 0;

¿2 = 0;

А.2 = !,2;

и = 0,8.

Абсолютное отклонение от объективной средневзвешенной оценки равно 0,575, что более чем в два раза больше, чем в оптимальном механизме.

Рассмотрим еще один класс экспертных механизмов, повышающих достоверность оценок экспертов. Они ведут свою историю от широко известного метода «Делфи» [3]. Эксперты изолированы друг от друга, а экспертный механизм реализуется за несколько разделенных во времени итераций.

Суть процедуры «Делфи» заключается в следующем. Экспертам предъявляется оцениваемый объект. Опрос экспертов осуществляется в несколько итераций. На первой итерации каждый эксперт дает числовую оценку объекта. После этого подсчитывается и сообщается всем экспертам средняя оценка и показатель разброса оценок. Экспертов, давших крайние оценки просят дать письменное обоснование своего мнения, и с ним знакомят всех остальных экспертов, передавая его по сети, после чего проводится вторая итерация опроса. Подобные итерации заканчиваются тогда, когда будет достигнуто достаточное согласование между оценками экспертов. Этот исходный вариант процедуры повлек за собой множество разновидностей и модификаций. Предлагаемая ниже модификация включает некоторый механизм стимулирования экспертов за сближение их оценок и среднего мнения (точнее говоря, механизм наказания за отклонение их оценки от средней). Таким образом, помимо заинтересованности эксперта в приближении итоговой оценки к его истинной оценке, появляется вторая составляющая его интереса. Она заключается в стремлении минимизировать наказание, то есть штрафы за отклонение его оценки от средней. Сначала рассмотрим простой пример.

Механизм штрафов

Пусть функция потерь эксперта при отклонении итоговой оценки от его истинной оценки имеет вид

а(и - г,)2.

Возьмем функцию штрафа за отклонение оценки эксперта от итоговой средней в виде

b(u - si) .

Очевидно, что эксперт будет сообщать оценку, минимизирующую сумму потерь и штрафов

a(u - r,)2 + b(u - s,)2.

Найдем минимум этой функции по s,, учитывая, что и = — У s,. После несложных вычисле-

,

ний получаем:

s _[-1)-4+ar _—

s _ b(n -1) ’ ' _1n , (1)

Определим среднюю оценку:

1_ [b(n -1)-a]u + ar

u _ n У s'_------bFO—

Решая это уравнение, получаем

и = Гср.

Независимо от «силы штрафов», то есть от коэффициента b, средняя оценка в ситуации равновесия Нэша равна объективной средней. Еще более неожиданным представляется случай, когда b = a/(n-1). Из выражения (1) получаем, что в этом случае si = r, для всех экспертов.

Насколько общим является результат примера 3? Для ответа на этот вопрос рассмотрим случай произвольной функции потерь экспертов p,(u -r,), которую будем считать непрерывно дифференцируемой выпуклой функцией. Возьмем функцию штрафа в виде

x(u - s,) = bp(u - s,).

Найдем минимум по s, суммы функции потерь и функции штрафа

p(u - r,) + bq)(u - s,).

Имеем уравнение

n Р (u - r,) = b (1 - n(u - s,)

(5.2)

Если b(n - 1) = 1, то уравнение сводится к

виду

Рг (u - r,) = р{ (u - s,).

Покажем, что если u - r, > 0, то и u - s, > 0. Действительно, если u > r,, то ,-ый эксперт будет уменьшать оценку, чтобы уменьшить u, то есть s, < ri < u. И наоборот, если u < r,, то ,-ый эксперт будет увеличивать оценку, чтобы уменьшить u, то есть s, > r, > u. Отсюда следует, что u - r, = u - s, и

s, = r,

для всех экспертов!

Чтобы получить результат об «объективности в среднем», рассмотрим произвольную функцию штрафа V(n-i) x(u - s,), являющуюся выпуклой и непрерывно дифференцируемой. Аналогично (2) получаем уравнение

Р (u - r,) = X (u - s,).

s)

Разрешим это уравнение относительно (и -

(и - S.) = %

i = 1, n ,

(3)

где % - функция, обратная х . Складывая эти п равенств, получаем

\(и - г)

= 0

(4)

Это значит, что в определенном смысле итоговая оценка объективна.

Средневзвешенная оценка

Пусть функции потерь экспертов имеют вид & = а(и - г,)2.

Возьмем функцию штрафов в следующем

Ь(и - а )2 Х= ——-т~.

п -1

Равенство (3) принимает следующий вид:

виде:

(u - Si) = -7- (u - r,), b

а условие (4)

u = 'Zari, где а=^т—

i=i Z aj

(5)

Таким образом, итоговая оценка объективна в средневзвешенном смысле. В качестве весов выступают относительные коэффициенты при функциях потерь экспертов. Рассмотрим обобщение полученных результатов на случай когда итоговая оценка является средневзвешенной оценкой, то есть

и=Та&.

/

В этом случае уравнение (2) принимает вид

а,&, (и - г,) = Ь (1 -а,)<р, (и - а).

Если взять

1 + b..

то снова получаем Sj = г,- для всех экспертов.

Заключение

Описанная модификация метода «Делфи» представляет собой новый класс неманипулируе-мых механизмов экспертизы.

Литература

1. Бурков В. Н., Новиков Д. А. Как управлять проектами. М.: Синтег, 1999.

2. Бурков В. Н., Новиков Д. А. Теория активных систем: состояние и перспективы. Серия "Информатизация России на пороге XXI века". М: Синтег, 1999.

3. Бурков В.Н., Ириков В.А. Модели и методы управления организационными системами. М.: Наука, 1994.

i=1

Институт проблем управления им. В.А. Трапезникова РАН (г. Москва) Воронежский государственный архитектурно-строительный университет

NOT MANIPULATED MECHANISM OF EXAMINATION IN THE REGIONAL

INVESTMENT PROGRAM

V.N. Burkov, I.B. Vasutuk, A.M. Hanov, I.F. Nabiullin

In present clause application of modified method Delfi is considered by development of regional programs for an estimation of expenses for realization of those or other actions, expected effect, and also risks

Key words: the mechanism, the program, risk, examination