Метод формирования экспертных групп для оценки предложений по проведению ФППИ Текст научной статьи по специальности «Экономика и бизнес»

Метод формирования экспертных групп для оценки предложений по проведению ФППИ

Приведены постановка и решение задачи оценки компетентности экспертов и выбора состава экспертных групп в интересах оценки предложений по проведению поисковых и прогнозных исследований с учетом усовершенствованного индекса Хирша, точности рецензирования экспертов, их опыта и квалификации. Рассмотрен пример реализации предложенного метода

В.Л. Лясковский1, 2

УВЦ МГТУ им. Н.Э. Баумана, РАН, д-р техн. наук

Д.А. Саркисян3

МГТУ им. Н.Э. Баумана, [email protected]

1 профессор, Москва, Россия

2 эксперт РАН, Москва, Россия

3 студент, Москва, Россия

Для цитирования: Лясковский В.Л., Саркисян Д.А. Метод формирования экспертных групп для оценки предложений по проведению ФППИ // Компетентность / Competency (Russia). — 2020. — № 3. DOI: 10.24411/1993-8780-2020-10301

ключевые слова

эксперт, экспертные группы, компетентность

ценка предложении по проведению фундаментальных поисковых и прогнозных исследовании (ФППИ) — важнейший процесс, определяющий целесообразность, реализуемость и потенциальную эффективность применения на практике результатов рассматриваемых исследований. Поэтому первостепенную важность имеет этап формирования высококвалифицированных экспертных групп для принятия итоговых решений.

Задача состоит в рациональном выборе множества экспертов и составлении экспертных групп с учетом компетентности, опыта, квалификации и результатов предыдущих исследований членов группы. Актуальность задачи связана с требуемым повышением эффективности финансирования ФППИ, которая определяется исходя из результатов опросов экспертных групп [1]. Для решения данной задачи обычно учитывается индекс Хирша [2, 3], предыдущие результаты исследований эксперта, его компетентность и опыт [4-7]. Авторы данной статьи предлагают использовать усовершенствованный метод расчета индекса Хирша, точность рецензирования эксперта при проведении предыдущих исследований и относительную нормализацию параметров, входящих в целевую функцию.

Постановка задачи

Для составления наиболее рационального множества экспертных групп необходимо решить оптимизационную задачу. Примем следующие обозначения: ► гп — булевый ряд, являющийся решением оптимизационной задачи: экспертам, участие которых потенциально наиболее эффективно, будет присва-

иваться значение 1, остальным — 0 (п = 1...Ь);

► Ь — число экспертов;

► Ьтах — максимально возможное количество отобранных экспертов (задается

заявителем) Ьтах > Ь;

► ЬтЫ — минимально возможное количество отобранных экспертов (задается заявителем) ЬтП < Ь;

► ап — точность оценки п эксперта,

ап е [0,1);

► А0 — необходимая точность (задается заявителем), А0 е [0,1);

► К* — модифицированный индекс Хирша п-го эксперта, теоретически

Кп е г, ^ > 0;

► еп — параметр, характеризующий опыт и квалификацию п-го эксперта, еп е[1Л/12;1] ; *

► Б (г , а , е , К ) — показатель компе-

V п' п' п' п>

тентности множества экспертов гп, для одного эксперта Б(ап, Кп, еп) е (0;4).

Таким образом, при нахождении решения необходимо учитывать ряд следующих ограничений. Во-первых, ограничение общего количества экспертов [8]:

Ь

Ьшт — ^ гп — Ьтах. п=1

Во-вторых, ограничение на требуемую заказчиком исследования точность анкетирования А > А0.

При описанных ограничениях необходимо максимизировать показатель компетентности множества экспертов гп:

г = а^тах Б(гп,ап,Сеп ).

Методы оценки значимых параметров и решения задачи

Далее рассмотрим значимые параметры, которые будем принимать во внимание при численном расчете компетентности экспертов.

Важнейшим параметром при анкетировании экспертов является точность их оценивания [7].

1. Для оценки этого параметра предлагается учитывать точность ап анкетирования га-го эксперта исходя из результатов эксперта в других исследованиях. Основываясь на методе оценки инноваций [8], получим формулу для вычисления относительной погрешности оценок п-го эксперта по £-му предмету исследования:

Srk — S

pk

1пк ■

S

е[0;1],

где Srk — окончательная оценка предмета £-го исследования [8];

Spk - оценка предмета £-го исследования п-го эксперта;

Smax — максимальное экспериментально возможное значение рейтинга по выбранному методу расчета. Итоговый коэффициент ап рассчитаем как среднее квадратическое отклонение, что позволит объективнее оценивать экспертов с большим количеством исследований:

лпк

к=1

=(0;1]-

протекания тока в соответствующей электрической схеме:

А = 1 -Дап^п Ф4

п=1

Отметим, что вероятность выявления истинных данных зависит от метода анкетирования и в данной статье не исследуется.

2. Предлагается учитывать современный широко применяющийся параметр оценки цитируемости научно-методических работ экспертов — индекс Хир-ша И, предложенный в 2005 году физиком Х. Хиршем для оценки активности научных деятелей и востребованности их работ. Определяется он следующим образом: ученому присваивается индекс Хирша, если из общего количества статей N цитируется И статей минимум по И раз каждая, при условии что статьи, которые остались N — Ип) имеют количество цитирований, не превышающее И раз [2, 3]. Предлагаем усовершенствовать данный параметр: будем учитывать также время публикации статей. Количество цитирований каждой статьи будем умножать на коэффициент, учитывающий время с момента публикации научной работы:

ок =

1 —100

где Кп — общее число рассматриваемых исследований п-го эксперта.

Таким образом, чем ближе результат анкетирования п-го эксперта к окончательной оценке £-го предмета исследования, тем больше аг^ и соответственно ап. Отметим, что экспертам без опыта, то есть с количеством исследований Кп= 0, будет присуждаться минимальный рейтинг S(an, Ип, еп) = 0. Далее необходимо найти суперпозицию полученных ап: общую точность анкетирования экспертной группы А. Воспользовавшись принципами теории вероятностей, составим выражение, полагая, что каждый эксперт — это параллельно соединенный резистор в электрической цепи с вероятностью сбоя ап. Тогда вероятность получения истинных данных при анкетировании группы экспертов равна вероятности

У current y к У current

где Уошгем — текущий год;

Уь — год выпуска £-ой статьи;

< 1.

При этом методика определения усовершенствованного индекса Ип остается прежней: п-му эксперту присваивается модифицированный индекс Хирша Ип, если из общего количества статей N цитируется Ип статей минимум по [И*по^ раз при условии, что статьи, которые остались N — И*), имеют количество цитирований, не превышающее [И*по^ раз. Модернизация расчета индекса Хирша позволит объективнее оценивать недавно опубликованные работы, количество цитирований которых не успело достигнуть истинного значения.

3. Необходимо учитывать квалификацию и опыт эксперта [4, 5, 6]. Данные

K

2

an =

характеристики будут выражаться численно коэффициентом еп. Предлагается использовать метод оценки этого показателя, описанного в [8, 5]. Однако, учитывая современные тенденции ускоренного развития всевозможных отраслей, стоит несколько нивелировать показатель занимаемой должности в угоду остальным описанным параметрам. Таким образом, получим следующую формулу:

1

_Vl2

;1

где гп - значение показателя квалификации в соответствии с занимаемой должностью i и наличием ученой степени j п-го эксперта, (г е [1;12]);

гтах — максимально е значение параметра квалификации в соответствии

с табл. 1, (гтах = 12).

Естественно, важнейшим показателем компетентности эксперта является практическая точность результатов его предыдущих исследований, однако учет параметров Ип и еп позволяет оценивать результирующую компетентность экспертов.

Очевидно, чем больше количество экспертов в группе, тем точнее будет результат их анкетирования. Таким образом, сначала необходимо определить требуемую точность анкетирования А0, которую должен обозначить заказчик исследования, при этом А0 б [0,1). Чем больше А0, тем точнее будет результат. Данное числовое значение должно определяться исходя из области предмета исследования, а также рассматриваемого горизонта прогноза.

На основании изложенного запишем математическую постановку задачи, состоящую из целевой функции и ограничений в следующем виде: L - М

2 = arg max2

1(1 — «п V п=1

)

4 h*

n n

Lmin — ^ 2n — Lm

1 — П an2n

> Ao

Все коэффициенты, входящие в целевую функцию, и их степени были получены эмпирическим путем, основываясь на относительной важности

en =

1

n

1

n

Таблица 1

Вербально-числовая шкала оценки квалификации экспертов г{-[Verbal numerical scale for assessing experts' qualifications г.]

Должность Ученая степень, ученое звание, регистрация в федеральном реестре экспертов

[Position] [Academic degree, academic title, registration in the federal register of experts]

£ ^ р о с т н е

-1 = т с е О д н

и н е п к у а н т а > d* 1 1 = £ к у а н ен ц о д к, ф о р п к, = ё о п с е Si

е т с з д и д н инеее = = нц сс р о т к у а н р у а н р уатс арре нее коми l U нд

е LQ а ^ аоекк ^ 4 « « о Д лк 3" я

Младший научный сотрудник 1 1,15 1,75 2 2,25 2,75 3 4

Старший научный сотрудник 1,5 2,25 2,5 3 3,5 4 4,5 5

Начальник лаборатории (сектора) 2 2,5 3 3,5 4 4,5 5,5 6

Ведущий научный сотрудник 2,5 3 3,5 4 4,5 5 6 7

(заместитель начальника отдела)

Начальник отдела (главный 3 4 4,5 5 5,5 6 7 8

научный сотрудник)

Начальник (заместитель 3,5 4,5 5 6 7 8 9 10

начальника) управления

Начальник (заместитель 4 5 6 7 8 9 10 12

начальника) института

коэффициентов. К примеру, модифицированный индекс Хирша hn взят со степенью У, так как пределы его значений S(zn, ап, hn, еп) е (0;<х>), однако для одного эксперта данное выражение принимает вид:

(ап, К, еп ) = (1 - ап )еп 4 V

С учетом максимального в настоящее время индекса Хирша h = 275 (Зигмунд Фрейд) получим S(an, еп) е (0;4).

Далее необходимо решить задачу дискретного булевого программирования: с учетом ограничения по точности анкетирования определить множество возможных всех удовлетворяющих экспертных групп, затем отыскать все экстремумы, основываясь на первом условии системы. Таким образом, мы получим искомый булевый ряд гп, в котором единицам будут соответствовать эксперты, участие которых наиболее рационально в условиях всех выше обозначенных границ.

Пример

В качестве начальных данных примем:

^тш = 3, ^тлх = 5, = 0,92

Рассмотрим 10 экспертов и на примере 1-го покажем методику расчета усовершенствованного индекса Хирша hn и коэффициента точности анкетирования ап. Допустим, что эксперт № 1 написал 10 статей со следующими показателями:

► 1 статья — 2007 г., 4 цитирования;

► 1 статья — 2017 г., 7 цитирований;

► 2 статьи — 2018 г., по 4 цитирования;

► 4 статьи — 2008 г., по 0 цитирований.

Посчитаем количество цитирований с учетом предложенной методики:

Си = c„

где ok =

1 -100

k ak У current

■Vk

коэффи-

Следовательно, у данного эксперта имеется 3 статьи с количеством цитирований каждой по 3 раза и при условии, что количество цитирований оставшихся 5 статей не превышает 3-х раз. При общепринятой схеме расчета индекса Хирша и тех же начальных параметрах мы бы получили значение h1 в связи с влиянием статьи 2007 года. Для остальных экспертов за hn примем данные из табл. 2.

Далее рассчитаем коэффициент точности анкетирования ап. Допустим, что эксперт № 1 принимал участие в 4-х исследованиях на этапе окончательного расчета по методу [8]:

► 1-е исследование: Sk1 = 4,35; Sn = 2,14

► 2-е исследование: = 3,14; Sn = 3,01

► 3-е исследование: Skз = 1,77; Sn = 3,24

► 4-е исследование: Sk4 = 2,82; Sn = 2,54.

Учитывая максимально возможное значение рейтинга по методу [8] Smax=5, подставим его в описанные формулы и получим:

■41

= |4,35 - 2Д4| = о,442; 5

12

|3,14 - 3,01|

= ^-'-i- = 0,026;

5

a13 =

11,77 - 3,24 |2,82 - 2,54|

= ^-'—L = 0,294; a14 = ^-'—L = 0,056;

55

a =

7(0,442)2 + (0,026)2 + (0,294)2 + (0,056)2

= 0,134.

Параметр ап для остальных экспертов примем в соответствии с табл. 2.

Таблица 2

Значения параметров для оценки компетентности эксперта [Example parameter values for assessing expert competence]

У current

циент, учитывающий время с момента публикации k-ой научной работы;

с — количество цитирований k-ой научной работы. Таким образом: 1 статья — 2007 г., Ck = 1,62;

1 статья — 2017 г., ck = 6,31;

2 статьи — 2018 г., ck =3,80; 4 статьи — 2008 г., ск = 0.

Эксперт [Expert] hn an en

Эксперт № 1 3 0,134 0,33

Эксперт № 2 9 0,103 0,58

Эксперт № 3 4 0,123 0,29

Эксперт № 4 1 - 0,13

Эксперт № 5 2 0,174 0,23

Эксперт № 6 25 0,186 0,23

Эксперт № 7 4 0,072 0,29

Эксперт № 8 12 0,209 0,29

Эксперт № 9 4 0,404 0,23

Эксперт № 10 16 0,234 0,33

o

k

Для принятия итоговых решений первостепенную важность имеет этап формирования высококвалифицированных экспертных групп

Таблица 3

Значение личного рейтинга эксперта Sn [The value of the expert's personal rating Sn]

Эксперт [Expert] № 1 № 2 № 3 № 4 № 5 № 6 № 7 № 8 № 9 № 10

Sn 0,376 0,901 0,359 0 0,225 0,418 0,381 0,427 0,194 0,506

На следующем этапе оценим квалификацию и опыт эксперта. Воспользовавшись данными табл. 2 и учитывая что гтах = 12, посчитаем значения соответствующего коэффициента

Статья поступила в редакцию 1.03.2020

Отметим, что эксперт № 4 не принимал участия ни в одном исследовании, следовательно ему будет присуждаться наименьший рейтинг S(an, Ип, en) = 0. Далее, принимая во внимание все посчитанные данные и основываясь на целевой функции, для каждого из экспертов запишем

в виде таблицы (табл. 3) следующие значения личного рейтинга

К, Ип, еп ) = (1 - ап К Ф*.

Согласно ограничениям целевой функции получим одно из удовлетворяющих всем условиям решение: г(п) = (0, 1, 0, 0, 0, 0, 0, 1, 0, 1), то есть в итоговую экспертную группу войдут эксперты под № 2, 8, 10. При этом для данной экспертной группы получим точность анкетирования:

1 -Пап = 0,97 > Д.

п=1

Заключение

Таким образом, предлагаемый унифицированный метод позволяет оценить и отобрать экспертов для формирования экспертных групп в интересах оценки предложений по проведению фундаментальных поисковых и прогнозных исследований. При этом учитываются модифицированный индекс Хирша, точность анкетирования эксперта на основе его предыдущих исследований, а также его опыт и квалификация.

В итоге мы получаем рационально сформированные группы экспертов, работа которых потенциально обеспечит наибольшую точность и как следствие эффективность рассматриваемого исследования. ■

Список литературы

1. Hsu C., Brian A. The Delphi Technique: Making Sense Of Consensus // Practical assessment, research and evaluation. — 2007. — Vol. 12.

2. Карасев О.И., Маканина Е.И. Методика экспертных оценок в форсайт-исследованиях // Статистика и экономика. — 2019. — № 4(16).

3. Найда А.А. Разработка методики количественного определения уровней компетентности экспертов // Межотраслевая информационная служба. — 2007. — № 1.

4. Алексеев И.Б. Априорная оценка относительной компетентности эксперта при групповой экспертизе // Качество. Инновации. Образование. — 2007. — № 5(36).

5. Лясковский В.Л., Смирнов С.С., Пронин А.Ю. Методика оценки компетентности экспертов в процессе формирования предложений в проекты программных документов // Вооружение и экономика. — 2013. — № 3(24).

6. Лясковский В.Л., Смирнов С.С., Пронин А.Ю. Выбор экспертов для оценки проектов программных документов // Компетентность. — 2017. — № 4(145).

7. Бурков Е.А. Определение компетентности экспертов на основе поставленных ими оценок // Известия СПбГЭТУ ЛЭТИ. — 2009. — № 4.

8. Лясковский В.Л., Саркисян Д.А. К вопросу оценки и прогнозирования потенциала реализации результатов инновационных теоретических исследований в образцах ВВСТ // Научный вестник оборонно-промышленного комплекса России. — 2019. — № 1.

n

en =

r.

Expert Groups Formation Method to Evaluate Proposals for FPPI

V.L. Lyaskovskiy1, 2, Faculty of Military Training MSTU named after N.E. Bauman, RAS, Prof. Dr. D.A. Sarkisyan3, MSTU named after N.E. Bauman, [email protected]

1 Professor, Moscow, Russia

2 Expert RAS, Moscow, Russia

3 Student, Moscow, Russia

Citation: Lyaskovskiy V.L., Sarkisyan D.A. Expert Groups Formation Method to Evaluate Proposals for FPPI, Kompetentnost'/ Competency (Russia), 2020, no. 3, pp. 4-9.

Evaluation of proposals for conducting fundamental research and forecasting studies allows us to determine the feasibility, feasibility and potential effectiveness of their results. We have considered the method of setting and solving the problem of assessing the competence of experts and selecting the composition of expert groups in order to evaluate proposals for conducting such research, taking into account the improved h-index, the accuracy of expert review, their experience and qualifications. We believe that this unified method allows us to more accurately evaluate and select experts to form expert groups in order to evaluate proposals for conducting fundamental search and forecast research. As a result, we get rationally formed groups of experts, whose work will potentially provide the greatest accuracy and, as a result, the effectiveness of the study in question.

References

1. Hsu C., Brian A. The Delphi Technique: Making Sense Of Consensus, Practical assessment, research and evaluation, 2007, v. 12, pp. 1-8.

2. Karasev O.I., Makanina E.I. Metodika ekspertnykh otsenok v forsayt-issledovaniyakh [Methodology of expert evaluations in foresight studies], Statistika i ekonomika, 2019, no. 4(16), pp. 4-13.

3. Nayda A.A. Razrabotka metodiki kolichestvennogo opredeleniya urovney kompetentnosti ekspertov [Development of a methodology for the quantitative determination of expert competency levels], Mezhotraslevaya informatsionnaya sluzhba, 2007, no. 1, pp.19-29.

4. Alekseev I.B. Apriornaya otsenka otnositel'noy kompetentnosti eksperta pri gruppovoy ekspertize [A priori assessment of the relative competence of an expert in group examination], Kachestvo. Innovatsii. Obrazovanie, 2007, no. 5(36), pp. 34-38.

5. Lyaskovskiy V.L., Smirnov S.S., Pronin A.Yu. Metodika otsenki kompetentnosti ekspertov v protsesse formirovaniya predlozheniy

v proekty programmnykh dokumentov [Methodology for assessing the competence of experts in the process of forming proposals in draft program documents], Vooruzhenie i ekonomika, 2013, no. 3(24), pp. 54-59.

6. Lyaskovskiy V.L., Smirnov S.S., Pronin A.Yu. Vybor ekspertov dlya otsenki proektov programmnykh dokumentov [Integrated assessment model of experts' competence], Kompetentnost', 2017, no. 4(145), pp. 4-9.

7. Burkov E.A. Opredelenie kompetentnosti ekspertov na osnove postavlennykh imi otsenok [Determining experts' competences based on their ratings], Izvestiya SPbGETU LETI, 2009, no. 4, pp. 20-24.

8. Lyaskovskiy V.L., Sarkisyan D.A. K voprosu otsenki i prognozirovaniya potentsiala realizatsii rezul'tatov innovatsionnykh teoreticheskikh issledovaniy v obraztsakh VVST [On the issue of assessing and predicting the potential for the implementation of the results of innovative theoretical research in the samples of WMSE], Nauchnyy vestnik oboronno-promyshlennogo kompleksa Rossii, 2019, no. 1, pp. 20-26.

DOI: 10.24411/1993-8780-2020-10301

key words

expert, expert groups, competence

ИНФОРМАЦИЯ

В сложившихся неблагоприятных условиях, связанных с распространением каронавируса COVID-19 и режимом самоизоляции, ФГАОУ ДПО «Академия стандартизации, метрологии и сертификации (учебная)» предлагает спектр актуальных курсов повышения квалификации в заочной форме с применением дистанционных технологий:

► изучение материала и выполнение заданий в системе дистанционного обучения;

► онлайн-семинары и вебинары по наиболее актуальным вопросам с привлечением в качестве преподавателей ведущих специалистов — практиков.