CC BY
356
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н.Э. ЬАУМЛНЛ
НАУКА и ОБРАЗОВАНИЕ
Эл JVa ФС 77 - 48211. Государственная регистрация №(I4212Ü0025. ISSN 1994-0408
электронный научно-технический журнал
Анализ подходов к формированию состава экспертной группы,
ориентированной на подготовку и принятие решений
# 05, май 2012
Б01: 10.7463/0512.0360720
Постников В. М.
УДК 519.81
Россия, МГТУ им. Н.Э. Баумана [email protected]
Введение. Бурное развитие науки и техники привело к тому, что за последнее время во все отрасли народного хозяйства стали широко внедряться автоматизированные системы обработки информации и управления, построенные на базе ЛВС. Возрастающая сложность управления современным производством привела к тому, что лицо принимающее решение (ЛПР) стало достаточно часто формировать экспертные рабочие группы из числа высококвалифицированных специалистов для оказания ему помощи при подготовке и принятии управленческих решений. Экспертные группы помогают ЛПР оперативно принимать корректные, технически совершенные и экономически эффективные решения для разрешения возникшей проблемной ситуации, например, выбора варианта ликвидации узкого места сети, выбора варианта приобретения набора требуемого оборудования, выбора варианта модернизации/реорганизации сети и т.д.
Однако всем хорошо известно, что проблема подбора экспертов была и остается одной из наиболее сложных в теории и практике экспертных исследований. Поэтому не случайно этой проблеме уделяется должное внимание и посвящено большое количество работ. Отметим только некоторые, наиболее важные из этих работ [1-15]. В них подробно рассматриваются отдельные важные вопросы подбора экспертов, но к сожалению отсутствует общий методический подход, касающийся выбора состава экспертной группы.
Постановка задачи. Необходимо провести сравнительный анализ существующих подходов к выбору количественного и качественного состава экспертов рабочей группы и выработать общий концептуальный подход к выбору экспертов.
Решение задачи.
Детальный анализ целого ряда работ [1, 6 - 9, 11 - 13] показал, что выбор состава экспертной группы следует рассматривать как многоэтапный процесс. Поэтому в данной работе при выборе состава экспертов рабочей группы предлагается выделить следующие пять основных этапов:
Этап 1. Определение предметной области и цели экспертного исследования. Этап 2. Выбор количества экспертов в составе рабочей группы Этап 3. Формирование списка возможных кандидатов в эксперты
Этап 4 Формирование предварительного списка экспертов рабочей группы и оценка уровня их компетентности
Этап 5 Формирование окончательного списка экспертов рабочей группы и оценка уровня ее компетентности
Рассмотрим эти этапы и задачи, решаемые на них, более подробно. Этап 1. Определение предметной области и цели экспертного исследования.
Предметную область и цель экспертного исследования обычно определяет ЛПР. Возможны различные цели экспертного исследования.
1. Выбрать один, наиболее приемлемый, вариант из набора предложенных исходных альтернативных вариантов, например вариант модернизации сети.
2. Провести ранжирование предложенных исходных альтернативных вариантов по степени их предпочтения, например для дальнейшего развития бизнеса и получения наибольшей прибыли..
3. Провести ранжирование и группировку вариантов по степени их важности.
4. Сформировать набор исходных факторов, провести их ранжирование, выбрать среди них наиболее значимые факторы, оказывающие существенное влияние на итоговый показатель, например, на производительность сети или на ее надежность, либо на трудоемкость и длительность ремонта оборудования сети и т. д.
5 Провести выбор значимых параметров, характеризующих работу сервисных служб, обслуживающих компьютерное оборудование и т.д. На этом этапе ЛПР четко определяет количество исходных факторов (или вариантов) и задачу их экспертного исследования. Количество факторов, подлежащих анализу и ранжированию, согласно принципу Гештальта, рекомендуется брать не более 9-10. Дальнейшее увеличение числа факторов, как правило, ведет к сложности их ранжирования с учетом обеспечения согласованной оценки экспертов.
Этап 2. Выбор количества экспертов в составе рабочей группы
Существуют различные подходы к выбору количества экспертов (т) в составе рабочей группе:
1) количество экспертов согласно [10] должно быть не меньше числа факторов (п) или вариантов, которые подлежат ранжированию ( т > п )
2) количество экспертов в [9, 13] рекомендуется определять по следующей формуле
т > 0,5 (0,33/Ь + 5)
где Ь - ошибка результата экспертного анализа 0 < Ь <1
Так при допустимой ошибке экспертного анализа в 5 % ( Ь = 0,05 ) в состав рабочей группы должно входить не менее 6 экспертов.
3) количество экспертов согласно принципу Гештальта должно быть в пределах 10 человек. При большом числе экспертов, во-первых, достаточно сложно согласовать их мнения, если эксперты принадлежат к различным научным школам и направлениям, а во-вторых, возникают определенные сложности организации экспертного опроса. .
4) на основании результатов практической деятельности количество экспертов в [6] рекомендуется брать не менее 7 и не более 20 человек, а в [5] не менее 10 и не более 30, поскольку слишком малое их число приводит к недостоверности групповой оценки, а слишком большое - к сложности организации экспертного опроса.
5) количество экспертов в [13] рекомендуется определять по следующей формуле
3 т*
т <Уп--I 0
2 '°тах 1=1
где т * - количество экспертов в предварительно сформированной группе
- компетентность 1-го эксперта, которая оценивается в баллах, например,
рекомендуется от 1 до 5 баллов. 0тах - максимально возможная компетентность 1-го эксперта, например, 5 баллов Тогда, например, если в качестве исходных данных имеем т *=10 и все эксперты одного наивысшего уровня квалификации 0- = 5 (/ = 1....10) и 0тах = 5 , то получаем т < 15
В [15] для определения количества экспертов в составе рабочей группы предложено использовать теорию вероятности и элементы математической статистики. Это достаточно трудоемкий, но в то же время корректный подход.
Поэтому в настоящей работе для расчета количества экспертов рабочей группы предлагается использовать упрощенный, модифицированный вариант этого подхода. За основу подхода берем аналогию между выборочными наблюдениями (выборками), имеющими место в статистических исследованиях, и оценками (баллами или рангами), которые дают эксперты определенному фактору при проведении экспертного анализа.
Из курса статистики [16] известно, что средняя ошибка выборки (и) - это среднее квадратическое отклонение всех возможных значений выборочной средней от своего
2
математического ожидания. Тогда ( и ) - это дисперсия возможных значений выборочной
2
средней. В курсе математической статистики показано, что величина (и ) в п раз меньше 2
дисперсии (с ) в генеральной совокупности, где . п - объем выборки. Следует иметь в
виду, что все это справедливо в условиях нормально распределенной генеральной совокупности.
Поэтому при большом объеме выборки справедливо следующее выражение:
и
с2
п
При малом объеме выборки, когда п < 30, выражение (1), согласно теории математической статистики, заменяется на выражение (2)
(1)
и
Л1
с2
(2)
п -1
После преобразований выражений (1) и (2) и замены объема выборки ( п ) на количество экспертов ( т ) в рабочей группе соответственно имеем
с2
т = —у если количество экспертов т > 30 (3)
и с2
т = —2 + 1 если количество экспертов т < 30 (4)
и
Рекомендуемые численные значения количества экспертов в составе рабочей группы, полученные из выражений (3) и (4) для ряда типовых значений отношения (ц2 /с2) , используемого на практике, приведены в табл.1
Рекомендуемый количественный состав экспертов рабочей группы
(р/с2) 0,05 0,06 0,07 0,075 0,08 0,09 0,10 0,15 0,20 0,25
п 21 18 16 15 14 12 11 8 6 5
Поскольку наиболее широко в практической деятельности при проведении расчетов используется следующее выражение (0,05 < (р2 / ст2) < 0,10) , то получаем, что наиболее приемлемое количество экспертов в составе группы должно быть в пределах 11 - 21 человека. в зависимости от допустимой величины (р2/с2). При этом следует иметь в виду, что поскольку выбор количества экспертов зависит от уровня важности принимаемого решения, то когда требуется получить более достоверные результаты работы экспертной группы или, наоборот, эти требования несколько снижены, то соответственно количество экспертов в составе рабочей группы может быть как больше 21 человека, так и меньше 11, как показано в табл.1
Полученные теоретически и рекомендуемые к использованию граничные значения для определения количественного состава экспертов рабочей группы практически совпадают с теми результатами, которые получены на основе практической деятельности и приведены в целом ряде ранее указанных работ.
Таким образом, можно считать, что предложенный подход к оценке граничных значений состава экспертов рабочей группы является достаточно корректным. Этап 3. Формирование списка возможных кандидатов в состав экспертной группы
Формирование этого базового списка экспертов возможно различными способами проведения творческих совещаний [5]. Рекомендуется использовать классический метод коллективного блокнота, когда ЛПР и его ближайшее окружение создает полные базовые списки экспертов по всем основным направлениям производственной деятельности организации. Кстати, этот метод наиболее часто используется на практике. Этап 4 Формирование предварительного списка экспертов группы и оценка уровня их компетентности
Предварительный список экспертов формируется на основе базового списка с учетом возможностей экспертов принять участие в работе группы в определенный период времени. Затем оценивается уровень компетентности экспертов, входящих в состав этого
предварительного списка. Рекомендуется использовать более полную оценку уровня компетентности экспертов по сравнению с той, которая приведена в работах [6, 7, 9, 11].
Поэтому для оценки уровня компетентности ( К, ) каждого 1-го эксперта предлагается использовать следующее выражение:
1 5
К, =-Ъ К„ (5)
1 5 Д у
В выражение (5) включены следующие пять обобщенных показателей, которые учитывают и оценивают, как профессиональную деятельность эксперта, так и его личные качества.
Кщ - коэффициент, отражающий уровень профессиональной подготовки и информированности 1-го эксперта;
2 - коэффициент, отражающий уровень базовой аргументации 1-го эксперта при принятии им решения;
К,3 - коэффициент, отражающий личные качества 1-го эксперта, и вычисляемый на основе самооценки;
К, 4 - коэффициент, отражающий личные качества 1-го эксперта, и вычисляемый коллегами экспертами;
К,5 - коэффициент, отражающий уровень согласованности действий 1-го эксперта с
членами рабочей группы при проведении тестовой оценки уровня важности указанного фактора или варианта при заданном их наборе.
Коэффициент К,1 предлагается определять на основании данных приведенных в табл.2
Определение уровня профессиональной подготовки и информированности экспертов.
Квалификация эксперта Значение коэффициента Кц (балл)
Доктор технических наук 1,0
Кандидат технических наук 0,9
Инженер со стажем более 20 лет 0,8
Инженер со стажем от 15 до 20 лет 0,7
Инженер со стажем от 10 до 15 лет 0,6
Инженер со стажем от 5 до 10 лет 0,5
Для определения значения коэффициента К, 2 используются данные, которые приведены в табл.3 и взяты из [11]:
Таблица 3
Определение степени аргументированности экспертов
Источник аргументации Степень влияния источника на мнение эксперта (балл)
Высокая Средняя Низкая
Проведенный теоретический анализ 0,3 0,2 0,1
Производственный опыт 0,5 0,4 0,2
Обобщение работ отечественных авторов 0,05 0,05 0,05
Обобщение работ зарубежных авторов 0,05 0,05 0,05
Личное знакомство с состоянием дел за рубежом 0,05 0,05 0,05
Интуиция 0,05 0,05 0,05
Итого 1,0 0,8 0,5
Эксперт получает табл.2 без цифр и отмечает в ней символом (*) степень влияния каждого источника на его мнение. После наложения на эту таблицу эталонной таблицы с цифрами подсчитывается сумма баллов по всем источникам, отмеченным экспертом,
Получается оценка, которая соответствует коэффициенту К,2 .
На основе анализа работ [1, 6, 7, 9, 11] выделены следующие пять основных личных качеств экспертов
1). Стремление к профессиональному росту и постоянному повышению квалификации как в своей области, так и в смежных областях.
2).Способность оперативно оценивать ситуацию и принимать эффективные решения
3).Способность своевременно реализовывать принятые решения
4).Умение создавать в рабочем коллективе нормальный психологический климат
5). Дисциплинированность и организованность
Для оценки личных качеств экспертов предлагается использовать вербально-цифровую шкалу, приведенную в табл.4.
Таблица 4
Вербально-цифровая шкала оценки личных качеств эксперта
Оценка проявления качества Балл Оценка проявления качества Балл
Всегда 1,0 Реже средней 0,4
Почти всегда 0,9 Редко 0,3
Очень часто 0,8 Очень редко 0,2
Часто 0,7 Иногда 0,1
Чаще средней 0,6 Никогда 0,0
Средняя 0,5 - -
Коэффициенты К^ и К^4, которые соответственно отражают личные качества экспертов
на основе самооценки и оценки коллег, вычисляются с использованием данных, приведенных в табл.4, по следующим формулам
15
к.^ =-! к.т (6)
13 5 у=1 131
1 т 5
К л I кп,7 (7)
г-
4 (5 ■ т) 1=1 131
где К31 - коэффициент, отражающий самооценку 1-го эксперта по наличию и проявлению у него ] -го личного качества
К33- коэффициент, данный 1-ым экспертом о наличии и проявлении ]-го личного качества у 1-го эксперта
т - количество экспертов, участвующих в оценке личных качеств 1-го эксперта
Для оценки значения коэффициента К,5 предлагается использовать следующее выражение
, Г - г ,
К,5 =1 — I (8)
где Г, - ранг, присвоенный 1-ым экспертом выделенному фактору в процессе проведения тестового опроса
Г - средний ранг выделенного фактора, полученный в результате проведения тестового опроса всеми экспертами рабочей группы.
В [6] после проведения тестового опроса экспертов предложена следующая процедура аттестации экспертов. Если ранг,, присвоенный 1-ым экспертом выделенному фактору в процессе проведения тестового опроса, не оказывается крайним (наибольшим или наименьшим) в полученном ряду оценок, то квалификационный уровень этого эксперта следует считать соответствующим уровню группы. В противном случае оценку данную этим экспертом следует считать противоречащей мнению группы и необходимо далее провести оценку на предмет возможности включения (или не включения) этого эксперта в состав
рабочей группы. Если | Г, — Г | < 0 ■ с то эксперта включают в состав рабочей группы,
иначе не включают.
Где Г - среднее арифметическое значение оценки факторов всеми экспертами с - среднее квадратичное отклонение индивидуальных оценок в группе
Значение коэффициента при а = 0,05 выбирают согласно [6] из табл 5 в зависимости от количества экспертов (т) в рабочей группе
Таблица 5
Значения коэффициента 0 ■
m 3 4 5 6 7 8 9 10
Коэфф 0 1,15 1,46 1,67 1,82 1,94 2,03 2,11 2,18
Этап 5 Формирование окончательного списка экспертов рабочей группы и оценка уровня ее компетентности
Всех экспертов, прошедших аттестацию, ранжируют согласно уровню их компетентности, который отражает коэффициент К, , вычисляемый по выражению (5). Далее, используя табл.1 выбирают требуемое количество экспертов в составе рабочей
группы. Экспертов последовательно выбирают из ранжированного ряда, начиная с наибольшего уровня компетентности.
Коэффициент представительности или компетентности (М) экспертной группы вычисляется согласно [9] по следующей формуле:
1 т
М =1 -I К (9)
т 1=1 1
Где К^ - коэффициент компетентности 1-го эксперта вычисляется по выражению (3)
т - количество экспертов в составе рабочей группы.
Сформированная рабочая группа экспертов является компетентной и способной корректно решать поставленные перед ней задачи, если уровень ее компетентности отвечает следующему условию [11]
0,67 <М <1 (10)
При формировании рабочих групп экспертов рекомендуется учитывать следующие правила:
1) для принятия экспертами согласованных решений желательно, чтобы эксперты в полной мере обладали следующими качествами:
- профессиональная подготовка и информированность;
- умение создавать в рабочем коллективе нормальный психологический климат;
- дисциплинированность и организованность
2) для принятия экспертами технически грамотных решений желательно, чтобы эксперты в полной мере обладали такими качествами, как информированность о проблемной ситуации, активное использование теоретического анализа при принятии аргументированного решения;
3) для принятия экспертами экономически эффективных решений желательно, чтобы они могли оперативно оценивать ситуацию и принимать в условиях дефицита времени эффективные решения. Приведенные рекомендации по организации экспертных групп направлены на принятие экспертами согласованных, технически совершенных и экономически эффективных решений.
Выводы
1. На основе проведенного анализа целого ряда работ по принятию управленческих решений предложено рассматривать процесс выбора количественного и качественного состава экспертов рабочей группы как многоэтапный процесс.
2. На основе анализа работ по принятию управленческих решений выявлены подходы к оценке граничных значений (верхнего и нижнего) количественного состава экспертов рабочей группы.
3. Предложено простое аналитическое выражение для оценки количественного состава экспертов рабочей группы Корректность этого выражения подтверждается результатами практической деятельности.
4. Определен набор качеств экспертов, которые следует учитывать при оценке уровня их компетентности.
5 Предложена вербально-цифровая шкала и аналитические выражения для оценки уровня компетентности экспертов.
Литература
I. Афоничкин А.И. Управленческие решения в экономических системах/ А.И Афоничкин, Д.Г. Михаленко. - СПб.: Питер. 2009. - 480 с.
2 Бешелев С.Д., Математико-статистические методы экспертных оценок / С.Д, Бешелев, Ф.Г. Гурвич. - М.: Статистика. 1974. - 160 с.
3. Гапоненко Т.В.Управленческие решения..- Ростов н/Д.:Феникс.2008.-284 с.
4. Горбашко Е.А. Управление качеством. - Спб.: Питер. 2008. - 384 с.
5. Жуков Б.М. Исследование систем управления./ Б.М. Жуков, Е.Н.Ткачева.- М.: Дашков и К, 2011.- 208 с.
6. Зерный Ю.В.Управление качеством в приборостроении./ Ю.В. Зерный, А.Г.Полываный, А.А.Якушин.- М.: Новый центр,2011.- 479 с.
7. Кошелев О.С. Управление проектами./ О.С. Кошелев, И.О. Леушин, О.В.Федоров - М.: КНОРУС, 2011 - 254 с.
8. Крылов А.В. О проблемах организации экспертизы. // Проблемы полиграфии и издательского дела. - 2006. - №4. - С.117- 122.
9. Лукичева Л.И., Егорычев Д.Н. Управленческие решения - М.: Омега- Л. 2009 - 383 с.
10. Марголин Е. Методика обработки данных экспертного опроса. // Полиграфия . - 2006. -№5 - С. 14 - 16.
II. Михненко П. Секреты эффективных бизнес-решений. - М. NT Press. -2007. - 288 с.
12..Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. -М.: КНОРУС. 2011. - 568 с.
13. Петров А.Ю. Интегральная методика оценки коммерческого потенциала инвестиционного продукта. - М.: Московский печатник, 2010.-23 с.
14.Сышикова Е.Н. Теория и методы повышения эффективности систем управления на предприятии. - Воронеж. ГОУВПО ВГТУ. 2010. - 206 с.
15.Шевченко С.А., Самарин Ю.Н. Выбор комплекта допечатного оборудования, отвечающего заданным условиям. // Проблемы полиграфии и издательского дела. - 2006. - №4. - С.3 -12.
16. Теория статистики./ под. ред. Громыко Г.Л. - М.: ИНФРА-М, 2009.- 476 с.
SCIENTIFIC PERIODICAL OF THE BAUMAN MSTÜ
SCIENCE and EDUCATION
EL JV® FS 77 - 4821 1. №0421200025. ISSN 1994-0408 electronic scientific and technical journal
Analysis of approaches to formation of expert group membership
focused on preparing and making decisions.
# 05, May 2012
DOI: 10.7463/0512.0360720
Postnikov V.M.
Russia, Bauman Moscow State Technical University
The article considers the analysis of existent approaches to formation of quantitative and qualitative membership of decision-making working group. The author presents a review of approaches focused on selection of quantitative membership of expert working group. Analytical expression allowing to determine boundary values of quantitative membership of expert working group was obtained by way of this review. Estimation of competence of both single expert and the whole group was considered and a set of overall indexes for competence estimation was proposed. The author gives recommendations on organization of expert groups producing coordinated, high technology and cost effective decisions.
Publications with keywords: expert of working group, number of experts, estimation of expert's competence, overall indexes of expert's competence, competence of working group Publications with words: expert of working group, number of experts, estimation of expert's competence, overall indexes of expert's competence, competence of working group
References
1. Afonichkin A.I., Mikhalenko D.G. Upravlencheskie resheniia v ekonomicheskikh sistemakh [Management decisions in economic systems]. St. Petersburg, Piter, 2009. 480 p.
2 Beshelev S.D., Gurvich S.D. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of peer reviews]. Moscow, Statistika, 1974. 160 p.
3. Gaponenko T.V. Upravlencheskie resheniia [Management decisions]. Rostov-on-Don, Feniks, 2008. 284 p.
4. Gorbashko E.A. Upravlenie kachestvom [Quality management]. St. Petersburg, Piter, 2008. 384 p.
5. Zhukov B.M., Tkacheva E.N. Issledovanie sistem upravleniia [The study of management systems]. Moscow, Dashkov i K, 2011, 208 p.
6. Zernyi Iu.V., Polyvanyi A.G., Iakushin A.A. Upravlenie kachestvom vpriborostroenii [Quality management in instrument manufacture]. Moscow, Novyi tsentr, 2011. 479 p.
7. Koshelev O.S., Leushin I.O., Fedorov O.V. Upravlenieproektami [Project management]. Moscow, KNORUS, 2011. 254 p.
8. Krylov A.V. O problemakh organizatsii ekspertizy [About the problems of organization of expert examination]. Problemypoligrafii i izdatel'skogo dela, 2006, no. 4, pp. 117- 122.
9. Lukicheva L.I., Egorychev D.N. Upravlencheskie resheniia [Management decisions]. Moscow, Omega-L, 2009. 383 p.
10. Margolin E. Metodika obrabotki dannykh ekspertnogo oprosa [Methodology of data processing expert survey]. Poligrafiia, 2006, no. 5, pp. 14-16.
11. Mikhnenko P. Sekrety effektivnykh biznes-reshenii [Secrets of effective business decisions]. Moscow, NTPress, 2007. 288 p.
12. Orlov A.I. Organizatsionno-ekonomicheskoe modelirovanie. Teoriiapriniatiia reshenii [Organizational and economic modeling. The theory of decision-making]. Moscow, KNORUS, 2011. 568 p.
13. Petrov A.Iu. Integral'naia metodika otsenki kommercheskogopotentsiala investitsionnogo produkta [Integral methodology of evaluation of the commercial potential of the investment product]. Moscow, Moskovskii pechatnik, 2010. 23 p.
14. Syshikova E.N. Teoriia i metody povysheniia effektivnosti sistem upravleniia napredpriiatii [Theory and methods of increasing the effectiveness of management systems at the enterprise]. Voronezh, VGTU Publ., 2010. 206 p.
15. Shevchenko S.A., Samarin Iu.N. Vybor komplekta dopechatnogo oborudovaniia, otvechaiushchego zadannym usloviiam [The choice of a set of prepress equipment that meets the specified conditions]. Problemy poligrafii i izdatel'skogo dela, 2006, no. 4, pp. 3-12.
16. Gromyko G.L. Teoriia statistiki [Theory of statistics]. Moscow, INFRA-M, 2009. 476 p.
