Неманипулируемые механизмы экспертных оценок при разработке региональных программ Текст научной статьи по специальности «Математика»

УДК 514

НЕМАНИПУЛИРУЕМЫЕ МЕХАНИЗМЫ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ РАЗРАБОТКЕ РЕГИОНАЛЬНЫХ ПРОГРАММ

В.Н. Бурков, О.В. Будков, Ю.А. Карпов, А.Е. Кравцов

В статье рассматривается задача построения механизма экспертизы, дающий в ситуации равновесия Нэша итоговую оценку, максимально близкую к объективной средней при разработке региональных программ

Ключевые слова: механизм, равновесие, оценка, экспертиза

Методы экспертных оценок находят широкое применение при разработке региональных программ. Они применяются при оценке затрат на реализацию тех или иных мероприятий, ожидаемого эффекта, а также рисков.

Однако, их существенным недостатком является низкая достоверность получаемой информации, связанная с основном, с незаинтересованностью опрашиваемых а зачастую и с сознательным искажением экспертами сообщаемых данных. Последнее, как правило, связано с наличием собственных интересов у экспертов в решениях, которые будут приниматься на основе экспертизы. Пусть имеются п экспертов, оценивающих какой-либо объект по скалярной шкале (объектом может быть кандидат на пост руководителя, вариант финансирования и т.д.). Каждый эксперт сообщает оценку ё

< а < Б, 7 = 1, п , где ё - минимальная, а Б - максимальная оценки. Итоговая оценка и = Па), на основании которой принимается решение, является функцией оценок, сообщенных экспертами

А = (А1, 52, ... , Ап).

Обозначим г7 - субъективное мнение 7-го эксперта, то есть его истинное представление об оцениваемом объекте [1]. Предположим, что процедура ПА) формирования итоговой оценки является строго возрастающей функцией а7, причем тЛа, а, ... , а) = а для всех ё < а < Б. Типичными процедурами такого вида являются

- средняя оценка

1

и

- взвешенная средняя оценка

п

или и = Ёа757, где

7=1

Бурков Владимир Николаевич - ИПУ РАН, д-р техн. наук, профессор, тел. (495) 334-79-00

Будков Олег Владимирович - ВГАСУ, аспирант, тел. (4732) 76-40-07

Карпов Юрий Александрович - ВГАСУ, аспирант, тел. (4732) 76-40-07

Кравцов Андрей Евгеньевич - ВГАСУ, аспирант, тел. (4732) 76-40-07

7=1

Обычно предполагается, что каждый эксперт сообщает свое истинное мнение г7, и поэтому при хорошем подборе группы экспертов средняя оценка

1 п п

— Ё Г , либо взвешенная средняя оценка Ёа Г

п 7=1 7=1

(коэффициенты а7 учитывают квалификацию экспертов) достаточно объективно и точно оценивает объект (гипотеза «объективности в среднем» группы экспертов). Однако, если эксперты заинтересованы в результатах экспертизы, то они не обязательно будут сообщать истинное мнение, то есть механизм ПА) может быть подвержен манипулированию (а Ф г7).

Дадим формальное описание интересов экспертов.

Предположим, что каждый эксперт заинтересован в том, чтобы результат экспертизы был максимально близок к его истинному мнению, что можно выразить с помощью целевой функции:

Д(и, г) = |и - Г 7 = 1,п .

При этом эксперт будет сообщать оценку а, доставляющую минимум

|и(51,52, ... , Ап) - гI

Пример 1. Пусть п = 3; ё = 0; Б = 1,2; г1 =

0,1; г2 = 0,2; г3 = 0,3. В качестве процедуры Па) применяется «средняя оценка». Если а'7 = г7, 7 = 1,3,

то есть все эксперты сообщают истинные оценки, то и = 0,2. Итоговая оценка совпала с истинным представлением 2-го эксперта, и он удовлетворен полностью. Остальные два эксперта (1-й и 3-й) неудовлетворены, так как г1 < 0,2, а г3 > 0,2. Следовательно они попытаются сообщить другие оценки, а именно, первый эксперт будет занижать свою оценку (чтобы уменьшить итоговую), а второй - завышать (чтобы увеличить итоговую).

Пусть первый сообщает а1 = 0, а третий - а3 = 1,2. В этом случае и = 0,47. Теперь недоволен и второй эксперт, который также будет занижать свою оценку. Окончательные оценки экспертов будут следующими: 5* = 5* = 0 ; а* = 1,2 ; и* = 0,4 . Это так называемая ситуация равновесия Нэша. Она характеризуется тем, что ни один эксперт не

может приблизить итоговую оценку к своей истинной, изменяя сообщаемую оценку, если остальные эксперты не изменяют своих оценок. Таким образом, итоговая оценка и = 0,4 оказалась за счет манипулирования в два раза выше объективной средней

и0 = 0,2.

Как построить механизм экспертизы, дающий в ситуации равновесия Нэша итоговую оценку, максимально близкую к объективной средней (или к объективной взвешенной средней)?

В работе [2] было показано, что такой механизм существует в классе так называемых механизмов «честной игры» (неманипулируемых механизмов). Этот класс механизмов описан в работе [3]. Каждый механизм из этого класса определяется множеством чисел w(Q), задаваемых для каждого подмножества Q экспертов, причем w(0) = D, w(I) = d, где I - множество всех экспертов. При этом, если Qi с Q2, то w(Qx) > WQ2).

Итоговая оценка определяется по следующей процедуре. Упорядочим оценки экспертов по возрастанию и пронумеруем их соответственно, то есть < s2 < ... < s„. Определяем подмножества экспертов Qi = {1}; Q2 = {1, 2}, ... , Qn = {1, 2, ... , n} и соответствующие им числа wi = w,(Qt),

i = 1, n — 1. Находим номер k такой, что

Wk-l > Sk-1, Wk < Sk (существует один и только один такой номер) и определяем итоговую оценку:

и = min [Wk-1, Sk].

Итак, мы описали множество всех немани-пулируемых механизмов. Рассмотрим задачу определения среди них такого, который минимизирует максимальное абсолютное отклонение полученной итоговой оценки от средневзвешенной [3]. Решение этой задачи определяется следующим множеством чисел w(Q):

w(Q) = [1 - A(Q)]D + A(Q)d, где Q - любое подмножество экспертов,

A(Q) = Y,ak .

keQ

Пример 2. Рассмотрим ситуацию из примера

1. Примем сначала, что ai = 1/3, то есть в качестве итоговой оценки принимается средняя оценка. В этом случае мы получаем всего два различных числа w(Q): Wj = 0,8; w2 = 0,4; w3 = 0. При прежних истинных оценках экспертов r = 0,1; r2 = 0,2; r3 = 0,3 получаем, что k = 3, так как

w2 = 0,4 > r2 = 0,2 w3 = 0 < r3 = 0,3.

Поэтому итоговая оценка

и = min {w2; r3} = 0,3.

Абсолютное отклонение от объективной средней равно 0,1, что в два раза меньше, чем в первоначальном механизме получения средней оценки. Пусть теперь третий эксперт является более квалифицированным, и его вес а3 = V2, в то время как у первого и второго экспертов а = %. Определим числа w(Q) для этого случая. Имеем:

А(1) = а = 1/4,

А(1, 2) = а1 + а2= 1/2,

А(1, 2, 3) = 1.

Соответственно,

^(1) = 3/4 -1,2 = 0,9; м>(1, 2) = 72 -1,2 = 0,6; м>(1, 2, 3) = 0.

Итоговая оценка не изменилась и по-прежнему равна и = 0,3. Заметим, что объективная средневзвешенная оценка равна:

1/4 -0,1 + 1/4 -0,2 + 1/2 -0,3 =0,225, так что абсолютная ошибка составляет 0,075. Сравним с механизмом средневзвешенного среднего. При этом механизме в ситуации равновесия оценки экспертов будут следующие:

а1 = 0; а2 = 0; а3 = 1,2; и = 0,8.

Абсолютное отклонение от объективной средневзвешенной оценки равно 0,575, что более чем в два раза больше, чем в оптимальном механизме.

Рассмотрим еще один класс экспертных механизмов, повышающих достоверность оценок экспертов. Они ведут свою историю от широко известного метода «Делфи» [2]. Эксперты изолированы друг от друга, а экспертный механизм реализуется за несколько разделенных во времени итераций.

Суть процедуры «Делфи» заключается в следующем. Экспертам предъявляется оцениваемый объект. Опрос экспертов осуществляется в несколько итераций. На первой итерации каждый эксперт дает числовую оценку объекта. После этого подсчитывается и сообщается всем экспертам средняя оценка и показатель разброса оценок. Экспертов, давших крайние оценки просят дать письменное обоснование своего мнения, и с ним знакомят всех остальных экспертов, передавая его по сети, после чего проводится вторая итерация опроса. Подобные итерации заканчиваются тогда, когда будет достигнуто достаточное согласование между оценками экспертов. Этот исходный вариант процедуры повлек за собой множество разновидностей и модификаций. Предлагаемая ниже модификация включает некоторый механизм стимулирования экспертов за сближение их оценок и среднего мнения (точнее говоря, механизм наказания за отклонение их оценки от средней). Таким образом, помимо заинтересованности эксперта в приближении итоговой оценки к его истинной оценке, появляется вторая составляющая его интереса. Она заключается в стремлении минимизировать наказание, то есть штрафы за отклонение его оценки от средней. Сначала рассмотрим простой пример.

Пример 3. Пусть функция потерь эксперта при отклонении итоговой оценки от его истинной оценки имеет вид

а(и - г7)2.

Возьмем функцию штрафа за отклонение оценки эксперта от итоговой средней в виде Ь(и - а)2.

Очевидно, что эксперт будет сообщать оценку, минимизирующую сумму потерь и штрафов a(u - r,)2 + b(u - si)2.

Найдем минимум этой функции по s,, учитывая, что и = — > s, . После несложных вычислений

’ n ¿-^ 1

i

получаем:

\b(n -1)- alu + ar -—

Si _ b(n -■)' • 1 _ 1П, (1)

Определим среднюю оценку:

_ 1 V [(П - 1)- a] + аГср

n 1 b(n -1)

Решая это уравнение, получаем

и = Гср.

Неожиданный результат! Независимо от «силы штрафов», то есть от коэффициента b, средняя оценка в ситуации равновесия Нэша равна объективной средней. Еще более неожиданным представляется случай, когда b = a/(n-1). Из выражения (1) получаем, что в этом случае s, = r, для всех экспертов!

Насколько общим является результат примера 3? Для ответа на этот вопрос рассмотрим случай произвольной функции потерь экспертов p(u - ri), которую будем считать непрерывно дифференцируемой выпуклой функцией. Возьмем функцию штрафа в виде

х(и - s,) = bp(u - s,).

Найдем минимум по s, суммы функции потерь и функции штрафа

P,(u - r) + bq>(u - s,).

Имеем уравнение

n P (u - r,) = b (1 - jjft (u - s,) (2)

Если b(n - 1) = 1, то уравнение сводится к

виду

Pi (u - r) = p{ (u - s,).

Покажем, что если u - r, > 0, то и u - s, > 0. Действительно, если u > r,, то ,-ый эксперт будет уменьшать оценку, чтобы уменьшить u, то есть s, < r, < u. И наоборот, если u < r,, то ,-ый эксперт будет

увеличивать оценку, чтобы уменьшить и, то есть А > г7 > и. Отсюда следует, что и - г7 = и - а'7 и А = г7 для всех экспертов!

Чтобы получить результат об «объективности в среднем», рассмотрим произвольную функцию штрафа 1/(п-1) %7(и - а), являющуюся выпуклой и непрерывно дифференцируемой. Аналогично (2) получаем уравнение

s)

р, (u - r,) = X (u - s,).

Разрешим это уравнение относительно (u -

(u - st) = Ç

Рг

(u - Гг )

г = 1, n .

(3)

где | - функция, обратная % . Складывая эти п равенств, получаем

i=1

Рг

(и - гг)

= 0

(4)

Это значит, что в определенном смысле итоговая оценка объективна.

Описанная модификация метода «Делфи» представляет собой новый класс неманипулируе-мых механизмов экспертизы. Представляется целесообразным исследование с позиции активного поведения экспертов других модификаций этого метода (например, удаление крайних оценок или удаление оценок, отклоняющихся от средней на заданную величину и т. д.).

Литература

1. Кулибанов В. С. Современные методы управления строительным производством. Л.: Стройиз-дат, 1976. 214 с.

2. Баркалов С.А., Бурков В.Н., Гилязов Н.М. Методы агрегирования в управлении проектами. М.: ИПУ РАН, 1999. - 55 с.

3. Алферов В.И., Баркалов С.А., Бурков В.Н., Курочка П.Н., Хорохордина Н.В., Шипилов В.Н. Прикладные задачи управления строительными проектами. - Воронеж «Центрально - Черноземное книжное издательство» 2008. - 712 с.

Воронежский государственный архитектурно-строительный университет Институт проблем управления им. В. А. Трапезникова РАН (г. Москва)

NOT MANIPULATED MECHANISMS OF EXPERT ESTIMATIONS BY DEVELOPMENT OF REGIONAL PROGRAMS

V.N. Burkov, O.V. Budkov, Ju.A. Karpov, A.E. Kravtsov

In clause the problem of construction of the mechanism of the examination, stating in a situation of balance of Nash the final estimation as much as possible close to objective average by development of regional programs is considered

Key words: the mechanism, balance, an estimation, examination