CC BY
100
УДК 303.43 ББК65в6
ПРОЦЕДУРА ОТБОРА НАИБОЛЕЕ ПРИЕМЛЕМЫХ РАЗНОВИДНОСТЕЙ ЭКСПЕРТНЫХ МЕТОДОВ
1 2 Сидельников Ю. В. , Салтыков С. А.
(Учреждение Российской академии наук
Институт проблем управления РАН, Москва)
В статье впервые разработана и обоснована процедура отбора наиболее приемлемых разновидностей экспертных методов для решения заданной прогнозной оценочной задачи, даны рекомендации по отбору конкретных экспертных методов для задач данного уровня сложности и обширности.
Ключевые слова: процедура отбора экспертного метода, сложность задачи, обширность задачи.
1. Введение исходных понятий и цель исследования
Многообразие объектов, эволюцию которых нужно прогнозировать с помощью экспертов, а также видов и типов прогнозных задач, которые можно сформулировать, относительно одного и того же объекта, очень велико. Именно поэтому, возникает вопрос относительно эффективного отбора разновидности экспертного метода.
Цель нашего исследования в рамках данной статьи - разработать и обосновать процедуру отбора наиболее приемлемых разновидностей экспертных методов для решения заданной прогнозной оценочной задачи, обосновать ее эффективность и дать рекомендации по отбору экспертного метода.
1 Сидельников Юрий Валентинович, доктор технических наук, профессор ([email protected]).
2 Салтыков Сергей Анатольевич, младший научный сотрудник ([email protected]).
Для того чтобы реализовать указанную цель, необходимо как минимум операционально задать понятия экспертного метода и прогнозной оценочной задачи, а также указать, что нужно учитывать при отборе.
Мы полагаем, что в общем случае, при отборе необходимо учитывать:
1. Критерии, понимаемые нами либо в узком толковании, как, например, в многокритериальном анализе, либо широком толковании, рассмотренном в четырехтомном словаре русского языка [11].
2. Специфику ситуации, контекстно связанной с решением прогнозной оценочной задачи. В данной статье приняты следующие базовые допущения относительно этой специфики ситуации:
• мы считаем, что мы можем найти любое нужное нам число экспертов и сформировать из них группу;
• мы исходим из того, что постановка прогнозной оценочной задачи уже не уточняется и не изменяется, а ЛПР имеет достаточно времени для принятия обоснованного решения;
• мы находимся в ситуации, когда нужно использовать именно экспертные методы прогнозирования, а не, скажем, модели и/или статистические методы.
3. Свойства прогнозной оценочной задачи, решаемой с помощью экспертов, и результата ее решения.
Пояснения к пункту 1.
Мы исходим из того, что отбор метода надо произвести на основе некоторых критериев, понимаемых нами в толковании словаря русского языка, где понятие «критерий» трактуется как «признак, на основании которого производится оценка, определение или классификация чего-либо; мерило» [11]. По аналогии с вышеуказанной трактовкой, в данной статье под критерием мы будем подразумевать признак объекта, на основании которого производится определение каким-либо образом того, что следует отобрать именно данный вариант (объект отбора), а не иной. Следует отметить, что в многокритериальном анализе часто используется существенно более узкая трактовка, являющаяся частным случаев вышеприведенной. Следуя ей, критерий - при-
знак объекта, на основании которого производится определение того, насколько объект соответствует заданной цели, то есть, определение ценности объекта путем введения монотонной функции определенного вида [7]. Именно такие критерии используются, скажем, в теории важности критериев. Говоря о таких критериях, будем их называть критериями в узком смысле. И вполне естественно возникает вопрос: какие критерии необходимо использовать? Мы не можем строго формально обосновать, почему мы используем именно нижеуказанный перечень критериев, но кратко поясним, как мы пришли к такому выводу.
Мы искали критерии, которые, во-первых, характеризуют непосредственно задачу, и, во-вторых, связаны с познавательными способностями ученых, занимающихся прогнозированием.
Сначала мы нашли и использовали один такой критерий, напрямую связанный с когнитивными процессами в ситуации оценивания, - сложность задачи [13]. Затем, был найден и использован второй такой критерий - обширность задачи [9]. Нам представляется, что эти два критерия - сложность и обширность
- качественно отличны. Других таких критериев нами не найдено, но мы не исключаем, что они существуют.
Пояснения к пункту 3.
I. Результатом решения такой задачи является оценка (оценки) значения параметра или характеристики объекта (процесса) в будущем.
II. Задача, которую мы решаем, обладает следующими шестью свойствами:
1) Корректно сформулирована.
2) Внутренне непротиворечива.
3) Не является риторическим вопросом.
4) Выражена в дискурсе, понятном для ученых, занимающихся прогнозированием.
5) Сформулирована на языке, понятном для существенной части ученых, занимающихся прогнозированием, и письменно зафиксирована.
6) По объему текста, предназначенного для ее описания, не превосходит усредненных познавательных способностей
ученых, занимающихся прогнозированием.
Зафиксируем нижеследующее допущение относительно прогнозной оценочной задачи: наличие совокупности шести вышеуказанных свойств задачи, как единого целого, вероятностно воспроизводимо определяется научным сообществом, занимающимся прогнозированием.
Возвращаясь к плану реализации цели статьи, операционально зададим понятие экспертного метода. Но прежде чем ввести понятие экспертного метода, необходимо рассмотреть нижеследующие понятия.
Базовый механизм получения новой информации (МПНИ) -это любая системно организованная совокупность правил, приемов и способов получения новой информации от человека, которая:
1. Предназначена для инициации процесса решения задачи конкретного уровня сложности1.
2. Позволяет осуществить «переход» от условий задачи к ее решению.
3. И, кроме того, применение которой не связано с использованием предметно-зависимых предположений (то есть, предположений, обусловленных спецификой предметной области).
Отметим, что можно получить новую информацию и без МПНИ, например, с помощью таблицы интегралов, соответствующих преобразований и расчетов, определив площадь под кривой, заданной в виде непрерывной функции.
Укажем в нижеследующей таблице соответствие между уровнями сложности прогнозной задачи и видами базовых механизмов.
1 Свойство задачи, отражающее уровень «креативности», необходимой для её решения, степень её «нетривиальности», которая определяется алгоритмом, описанным в [13].
38
Таблица 1. Соответствие между уровнями сложности прогнозной задачи и видами базовых механизмов
№ Градации уровней сложности Названия базовых МПНИ
2 II Систематизация перебора
3 III Хаотизация перебора
4 IV Методологическая рефлексия
5 V Механизм базируется на интуиции и/или озарении
1 I Простейший
Такое соответствие имеет место, прежде всего потому, что в статье [13], где впервые были введены уровни сложности прогнозной задачи, они формулировались через неявное представление о тех механизмах, которые инициируют решение задачи соответствующего уровня сложности.
Теперь перейдем к определению понятия реального механизма получения новой информации как элемента множества комбинаций базовых механизмов, который на наш взгляд осмыслен. Максимально возможное число таких комбинаций 31 (25 - 1). Перебирая все эти комбинации, полагаем, что лишь шесть комбинаций МПНИ осмыслены, которые мы и назовем реальными МПНИ:
1. Простейший.
2. Систематизация перебора.
3. Итеративный (включает наличие обратной связи, без непосредственного взаимодействия всех участников). Комбинация базовых механизмов: систематизация и хаотизация перебора.
4. Хаотизация перебора.
5. Методологическая ре флексия.
6. Механизм базируется на интуиции и/или озарении.
1 Простейший базовый механизм предполагает только лишь взаимное информирование участников встречи и обмен широко известными идеями.
Рассмотрим следующее понятие разновидности экспертного метода как системно организованной совокупности правил, приемов и/или способов, предназначенной для инициации процесса решения оценочных задач с помощью людей, которая, во-первых, удовлетворяет следующим условиям:
1. Процесс и, возможно, результат оценивания значения параметра (характеристики) объекта должен быть воспроизводим другим человеком и/или коллективным субъектом и/или научным сообществом либо всегда, либо с высокой вероятностью (при этом вероятность трактуется либо как объективная числовая величина в аксиоматике Колмогорова, либо как субъективная, в том числе нечисловая).
2. Все условия задачи, исходные данные, предположения, допущения и оценки представляются в наглядной форме и доступны для проверки.
3. Правила и приемы должны быть экономными, способными давать результат с наименьшими затратами средств и време-
1
ни ,
Во-вторых, содержит один реальный МПНИ.
И, в-третьих, может иметь нижеследующие составные части:
1. «Императив», с помощью которого определяется, приближаемся ли мы к решению задачи или нет. Аналог, метафора - компас. По-видимому, для V уровня сложности такими «императивами» являются так называемое «внутреннее да -нет», «полетит - не полетит». Так называемое «лезвие Оккама» является «императивом» исследователя преимущественно для задачи IV уровня сложности. Для III уровня сложности «императивом» является самовопрос исследователя «достаточно ли сумасшедшая эта идея?». Для II и I уровней сложности нам не известен такой «императив», возможно, там он и не нужен.
2. «Дополнительное требование», соблюдение которого обеспечивает возможность работы реального МПНИ и (или) повышает его эффективность. Например, мы полагаем, что для V уровня сложности «дополнительным требованием» является
1 При формулировании этих трех условий мы базировались на подходе Квейда к определению методики [2].
40
наличие достаточного времени для созерцания. Таким же «дополнительным требованием» для задачи IV уровня сложности является 11-ое правило Т. Эйлоарта [18]: «Спать с проблемой, идти на работу, гулять, принимать душ, ехать, пить, есть, играть в теннис — все о ней». Для III уровня сложности «дополнительным требованием» будет - разделение фаз генерации идей и анализа, используемое, например, в мозговой атаке. Для II и I уровней сложности нам не известны «дополнительные требования», возможно, там они и не нужны.
Следуя исторически сложившейся традиции использования понятия «экспертный метод», мы определяем это размытое понятие как совокупность разновидностей экспертных методов в вышеуказанном определении, объединенных только лишь традицией их употребления. Например, даже в самой узкой трактовке метод Дельфи понимается как совокупность разновидностей итеративного метода Дельфи I с двумя различными правилами остановки. (Во-первых, когда совпадут значения медиан числовых рядов экспертных оценок на двух последовательных итерациях и, во-вторых, когда группа экспертов и (или) респондентов придет к консенсусу [12]).
Введем понятие «М-группы экспертных методов». Под М-группой экспертных методов {Ai} мы понимаем такую совокупность разновидностей экспертных методов, элементы которой имеют одинаковый реальный МПНИ.
Для реализации заявленной цели в этой статье предлагается процедура, состоящая из четырех этапов.
2. Рекомендации по отбору М-группы экспертных методов для данной задачи (этап №1)
Общая процедура установления соответствия между прогнозной оценочной задачей и разновидностью экспертного метода, которую мы рекомендуем для решения этой задачи, включает следующие этапы:
1. Нахождение одной или двух М-групп экспертных методов, из которых мы будем рекомендовать метод для решения данной задачи.
2. Выбор одной из трех возможностей решения многокритериальной задачи: на основании метода взвешенной суммы, теории полезности и теории важности критериев (мы исходим из того, что отбор экспертного метода необходимо проводить на основе учета нескольких критериев).
3. Выбор из М-группы экспертных методов того, который мы рекомендуем для решения данной задачи.
4. Нахождение разновидности экспертного метода, которую мы рекомендуем для решения данной задачи.
При отборе М-группы методов на первом этапе процедуры мы используем лишь понятие сложности задачи и информацию об уровне этой сложности. Для этого на основе таблицы 1 и информации о том, из каких базовых МПНИ состоит данный реальный МПНИ, рассмотрим наличие самой возможности использовать данный вид реального МПНИ для решения задачи заданного уровня сложности.
Таблица 2. Возможность использования реальных МПНИ для решения прогнозной задачи____________________________________
Виды реальных механизмов получения новой информации от экспертов
Градации уров ней слож ности задачи Прос- тейший Система- тизация перебора Итеративный (Обратная связь, без непосредственного взаимодействия) Хаотиза-ции перебора Методологическая рефлексия Механизм базируется на интуиции и/или озарении
V - - - - - +
IV - - - - + -
III - - + + - -
II - + + - - -
I + - - - - -
Пояснение к таблице 2. Наличие знака плюс означает возможность использования реального МПНИ для решения прогнозной задачи данного уровня сложности.
На основании вышеприведенной таблицы можно рекомендовать к использованию для задачи данного уровня сложности максимум две М-группы экспертных методов, так как вид реального механизма однозначно определяет такую группу.
Перейдем к рассмотрению этапа №2.
Мы исходим из того, что существует три основных возможности решения многокритериальной задачи: на основании метода взвешенной суммы, теории полезности [3] и теории важности критериев [7]. В работе [10] было показано, что из этих трех инструментов целесообразно использовать теорию важности критериев в случае, если времени на принятие качественного решения достаточно, и метод взвешенной суммы в противном случае (было показано, что в целом последний дает результат более хороший, чем просто случайный равномерный отбор из набора альтернатив). Будем считать, что в нашем случае ЛПР имеет достаточно времени для принятия обоснованного решения, поэтому на втором этапе мы рекомендуем использовать теорию важности критериев в качестве инструмента отбора.
3. Рекомендации по отбору из М-группы наиболее приемлемого экспертного метода для данной задачи (этап №3)
Каждому из шести реальных механизмов соответствуют шесть М-групп экспертных методов и для каждой М-группы в таблице 4 укажем экспертные методы. В этой же таблице экспертным путем оценим в баллах уровень возможности использования таких методов для решения задачи фиксированного уровня сложности. При этом общее количество используемых балльных градаций - пять, а их значения занумерованы в порядке возрастания этого уровня возможности.
С целью повышения межэкспертной воспроизводимости для каждой из балльных градаций возможности применения метода укажем соответствующую содержательную интерпретацию.
Таблица 3. Балльные градации критерия «возможность решить данную задачу данным методом»__________________________
Балльные градации возможности решить прогнозную задачу методом из данной группы Содержательная интерпретация градаций
1 Метод бесполезно использовать для решения задачи.
2 Скорее всего, задача не будет решена, но, возможно, в рамках ее решения станет понятно, что сформулированная задачи плохо поставлена.
3 Возможно, задача и будет решена, но, по сути, это будет «стрельба из пушки по воробьям».
4 Возможно, задача будет решена.
5 Скорее всего, задача будет решена.
Полагаем, что первые три градации в целом неприемлемы для того, чтобы рекомендовать этот метод для решения поставленной задачи. Градации «4» и «5» будем считать приемлемыми.
На основе информации, полученной из таблиц 1^3, и понятия М-группы сформируем таблицу 4 с учетом того, что мы будем рассматривать лишь шесть недекомпозируемых экспертных методов. (Использование лишь шести методов связано с тем, что из 13 недекомпозируемых экспертных методов, упомянутых в Малой Российской энциклопедии Прогностики, лишь шесть апробированы прогностической практикой [4]).
Для обеспечения межэкспертной воспроизводимости проставления соответствующих балльных оценок в таблице 4 их процедуру назначения проведем в два этапа.
На первом этапе выделим цветом те клетки таблицы, балльные значения в которых мы считаем приемлемыми, чтобы соответствующие методы можно было рекомендовать для решения задач данного уровня сложности. (То есть балльные градации «4» и «5»).
На основании таблицы 2 для V уровня сложности может быть приемлем лишь один метод, чей механизм базируется в первую очередь на интуиции и/или озарении. Таким образом, мы выделяем цветом лишь одну клетку на пересечении столбца с заголовком названия этого механизма и строки с заголовком «V уровень сложности» (крайняя правая клетка).
Аналогично, для IV уровня сложности также приемлем лишь один метод, основывающийся на методологической рефлексии, и, значит, цветом выделяем лишь одну клетку на пересечении столбца с заголовком названия этого механизма и строки с заголовком «IV уровень сложности»
На том же основании, для III уровня сложности приемлемы два метода, один из которых основывается на реальном механизме хаотизации перебора, а второй - на реальном механизме с обратной связью, и, значит, цветом выделяем две клетки на пересечении столбцов с заголовками названия этих же механизмов и строки с заголовком «III уровень сложности».
Аналогично, для II и I уровней сложности.
На втором этапе проводим более детальную оценку. И для клеток, выделенных цветом, указываем балльные значения либо «4», либо «5». Соответствующие различия в значениях балльных оценок могут более обосновано помочь нам рекомендовать экспертный метод.
Для тех же клеток, которые не отмечены цветом, указываем один из трех вариантов: либо «1», либо «2», либо «3». Причем балльную градацию «3», чья содержательная интерпретация трактуется как «возможно, задача и будет решена, но, по сути, это будет «стрельба из пушки по воробьям» назначают для тех методов, чей вид реального МПНИ будет выше по иерархии, чем указанный в строчке уровень сложности, и применяемый реальный механизм не задействует методологическую рефлексию. Если же применяется методологическая рефлексия для решения задач ниже четвертого уровня сложности, то ставим балльную градацию «2»: «скорее всего, задача не будет решена, но, возможно, в рамках ее решения станет понятно, что сформулированная задачи плохо поставлена».
Таблица 4. Оценки уровня возможности применения метода к
решению задачи заданного уровня сложности
X Виды реальных МПНИ
Уро- вни слож нос- ти Простейший Систе-матиза-ция пе-ре-бора Итеративный. (Обратная связь, без непосредственного взаимодействия) Хаоти-зация пе-ре-бора Мето- дологи- ческая рефлек- сия Механизм базируется на интуиции и/или озарении
А Соответствующие методы получения новой информации от экспертов
метод «лицом к лицу» метод комис- сий морфо- логи- ческий анализ метод Дельфи мозговая атака методы с элементами рефлексии метод нам не известен,
V 1 1 1 1 1 1 но использовать МПНИ возможно
IV 1 1 1 1 1 5 3
III 1 1 1 4 5 2 3
II 1 1 5 4 3 2 3
I 4 4 3 3 3 2 3
Градации «1», «2», «3» хотя и не используются в дальнейшем расчете, полезны для того, чтобы показать, что метод может быть неприемлем для решения задачи данного уровня сложности, по крайней мере, по трем качественно различным причинам.
Для задач НП уровней сложности существуют, согласно таблице 4, более чем один приемлемый экспертный метод. Так, например, исходя из данных этой таблицы, для решения задачи
I уровня сложности, целесообразно использовать метод «лицом к лицу» либо метод комиссий. Мы исходим из допущения, что при наличии более одного экспертного метода решения прогнозной задачи необходимо, по крайней мере, сначала, использовать только один из них. Отсюда вытекает необходимость более детального отбора. И одним из оснований для отбора является обоснованное различие, выраженное в баллах, уровня возможности применения метода к решению задачи заданного уровня сложности.
С учетом вышесказанного, приведем обоснование целесообразности применения уже конкретного экспертного метода для решения задачи указанных уровней сложности и обширности.
Таким образом, если на I этапе процедуры мы использовали лишь понятие сложности задачи, то на Ш-м этапе - будем использовать сложность и обширность задачи как критерии в широком толковании. Но так как напрямую такие критерии в многокритериальном анализе не всегда можно использовать, то будем использовать следующие критерии в узком толковании (т. е. как в многокритериальном анализе): «возможность применения данного метода к задаче данного уровня сложности» и «быстрота решения задачи данным методом», а их значения найдем, базируясь на сложности и обширности.
Для того чтобы порекомендовать экспертный метод для решения задачи данного уровня сложности и обширности решим задачу многокритериального отбора приемлемого метода, используя теорию важности критериев (базируясь на результатах П-го этапа).
Итак, мы выявили балльные оценки возможности применения метода к решению задачи заданного уровня сложности (таблица 4), и теперь:
• последовательно рассмотрим и используем такую характеристику кортежа задача-метод как быстрота решения задач I,
II и III уровней сложности указанным методом;
• выявим балльные оценки быстроты решения задачи, данных уровней сложности и обширности (таблицы 7-9).
Поясним, почему мы считаем, что в первом приближении эта быстрота (длительность) зависит от используемого метода, сложности и обширности задачи.
Для нас, очевидно, что длительность решения задачи зависит от метода ее решения.
Для того чтобы показать, что длительность решения задачи зависит и от сложности, а также от обширности задачи, рассмотрим некоторые этапы процесса решения прогнозной оценочной задачи НП уровней сложности.
Из определений НП уровней сложности прогнозной оценочной задачи [13] следует, что процесс решения такой задачи состоит, в том числе из:
1. Конструирования множества вариантов развития прогнозных событий, которые могут произойти с объектом прогнозирования. Но длительность конструирования множества вариантов в первую очередь зависит от уровня сложности решаемой задачи.
2. Проработки сконструированных вариантов и их ранжировки по степени вероятности осуществления. Получение дополнительной информации способствует наполнению содержанием деталей вариантов развития прогнозных событий. (Полагаем, что длительность этого этапа в первую очередь зависит от уровня обширности задачи, так как мы каждый раз ищем дополнительную информацию из разных источников с тем, чтобы выявить приоритетность варианта).
Таким образом, мы показали, что быстрота решения задачи зависит от сложности и обширности задачи и метода ее решения.
Для повышения межэкспертной воспроизводимости проставления экспертами балльных градаций быстроты решения задач НП уровней сложности указанным методом рассмотрим содержательную интерпретацию балльных градаций быстроты решения задач НП уровней сложности и представим ее в таблице 5.
Таблица 5. Содержательная интерпретация балльных градаций быстроты решения задач 1-Шуровней сложности указанным экспертным методом
Балльные градации Содержательная интерпретация быстроты решения задач
5 Очень быстро, («не снимая пиджака»)
4 Типично быстро («сняв пиджак, но без чая»)
3 Не долго, но и не быстро («с чаепитием, но без ночевки»)
2 Долго («с ночевкой, но без зимовки»)
1 Очень долго, («с зимовкой»)
0 неприемлемо долго или невозможно
Примечание. Дополнительное образное задание шкальных градаций повышает воспроизводимость их употребления экспертами по сравнению с «обычным» заданием - «очень быстро», «быстро», «медленно» и тому подобное. Об использовании для этой цели лексики и речевых оборотов, обычно не свойственных научному дискурсу, писал еще Г.С. Альтшуллер, но как тогда, так и сейчас это воспринимается несколько настороженно: «Когда на доске слово “ледокол” было заменено “штуковиной” ... моряк лишился дара речи» [1, с. 135]. Можно более подробно и более глубоко раскрыть необходимость употребления слов, устойчиво порождающих большое количество продуктивных ассоциаций (или, наоборот, не порождающих уводящих в сторону ассоциаций), для «запуска» познавательных процессов, нацеленных на получение новой информации от человека, но это выходит на рамки тематики данной статьи.
Таблица 6. Примеры различных типовых задач конкретных уровней сложности и обширности_________________________
Уровень обширности задачи
Уровень слож- ности задачи I II III
IV Определить формальную научную продуктивность ИПУ РАН через 50-60 лет Определить перспективность имеющихся научных направлений через 50-60 лет
III Определить формальную научную продуктивность ИПУ РАН через 4-5 лет Определить перспективность имеющихся научных направлений через 4-5 лет Какое влияние на прикладную науку в ближайшие год - два окажет готовящаяся программа «инновационный прорыв»?
II Определить формальную научную продуктивность ИПУ РАН через 1-2 года Определить перспективность имеющихся научных направлений через 1-2 года Какое влияние на прикладную науку в ближайшие 3-5 лет окажет готовящаяся программа «инновационный прорыв»?
I Определить формальную научную продуктивность давно работающего сотрудника ИПУ РАН в следующем году
На основании определения уровней обширности задачи экспертным путем выявим и укажем в таблицах 7-9 значения градаций быстроты решения указанными методами задач соответствующих уровней сложности.
Частично присвоение градаций быстроты базируется на мысленном эксперименте, проводимом на основе примеров решения типовых задач различных уровней сложности и обширности, сформулированных для какой-либо конкретной области. Это делается для повышения межэкспертной воспроизводимости. (В данном случае используются различные подзадачи, получающиеся при декомпозиции задачи разработки прогноза развития теории управления социально-экономическими системами).
Из-за ограниченного объема статьи мы не можем глубоко обосновать наполнение вышеприведенной таблицы. Отметим лишь, что оно полностью основывается на понятиях сложности и обширности прогнозной оценочной задачи, а пытливого читателя отсылаем к соответствующей статье [13].
Для корректного назначения балльных оценок быстроты решения задачи I, II и III уровней уровня сложности при соответствующих уровнях обширности заданными методами (таблица 7) и с целью повышения их межэкспертной воспроизводимости полезно будет использовать информацию, структурированную в пять нижеследующих блоков:
1. Содержательная интерпретация балльных градаций быстроты решения задач (таблица 5).
2. Мысленный эксперимент, проводимый на основе примеров задач различных уровней сложности и обширности, сформулированных для какой-либо конкретной области (таблица 6).
3. Определения уровней обширности.
4. Определение I, II и III уровней сложности прогнозной оценочной задачи.
5. Информация о достоинствах и недостатках методов. (Так, для I уровня сложности прогнозной оценочной задачи, необходимо выявить ключевые отличия между методами «лицом к лицу» и «комиссий», с тем чтобы обосновано присвоить различ-
ные балльные оценки для этих близких методов).
Поясним блок №3. Определяющими свойствами прогнозной оценочной задачи для:
• I уровня обширности является наличие информации, которая поможет ее решить и которую можно получить из автоматизированных источников;
• II уровня обширности является наличие информации, которая поможет ее решить и которую можно получить из печатных источников или от исследователей;
• III уровня обширности является наличие информации, которая поможет ее решить и которую можно получить лишь из непосредственных экспериментов [13].
Поясним блок №4 на примере I уровня сложности. Определяющим свойством прогнозной оценочной задачи I уровня сложности является наличие уже известного способа ее решения.
Поясним блок №5 на примере I уровня сложности. Ключевыми отличиями между методами «лицом к лицу» и «комиссий», позволяющими нам присваивать различные балльные оценки для этих близких методов являются [12]:
• простота реализации метода «лицом к лицу» и быстрота решения им простейших задач;
• необходимость обучать организаторов метода «комиссий» и экспертов, участвующих в ее работе;
• группа экспертов, участвующих в работе «комиссий», многократно собирается для обсуждения одного и того же вопроса;
• при использовании метода «комиссий» предварительно разрабатывается программа обсуждения.
Исходя из вышесказанного, мы полагаем, что метод «лицом к лицу» может часто решить задачу первого уровня сложности о формальной научной продуктивности сотрудника настолько быстро, что вошедшему эксперту будет, образно говоря, даже лень снимать пиджак для столь короткого разговора.
Используя второй из пяти вышеуказанных блоков информации (эксперимент, проводимый на основе примеров задач, описанных в таблице 6) можно провести такой мысленный экс-52
перимент. Когда руководитель института вызовет заведующего лабораторией, чтобы узнать примерное число работ, которые напишет в следующем году сотрудник этой лаборатории ИПУ РАН, то размышление его как эксперта не будет долгим. И не надо тратить время на формирование комиссии экспертов и разработку программы обсуждений. Поэтому, для данного примера, балльная градация «5» будет вполне уместна.
Конечно, вышерассмотренные рассуждения не являются формальным обоснованием, и, тем более, доказательством, но четко указывают направление, в котором необходимо проводить формальные обоснования.
На основе вышерассмотренных рассуждений, укажем на пересечении строк и столбцов таблицы 7 оценки в баллах быстроты решения задачи 1-го уровня сложности заявленным методом при соответствующем уровни обширности.
Таблица 7. Оценки быстроты решения задачи Iуровня сложности (в баллах)_______________________________________
У эовни обширности
Методы I II III
лицом к лицу 5 0 0
комиссий 4 4 3
Аналогичным образом, используя пяти блоковую структуру информации, необходимую для обоснования балльных оценок, оценим быстроту решения задачи для II уровня сложности и составим таблицу 8.
Таблица 8. Оценки быстроты решения задачи IIуровня сложности (в баллах)____________________________________
Уровни обширности
Методы I II III
Морфологический анализ 3 2 1
Дельфи 4 4 3
Значения балльных градаций быстроты решения задачи III уровня сложности определены в таблице 9 аналогично предыдущему случаю.
Таблица 9. Оценки быстроты решения задачи IIIуровня слож-
ности (в баллах)
У эовни обширности
Методы I II III
Дельфи 4 4 3
Мозговая атака 3 2 1
Подход к назначению балльных оценок в рамках процедуры, скорее всего, останется неизменным, даже если изменится соответствие кортежа <сложность, обширность, метод> конкретным балльным градациям. Например, сейчас мы полагаем, что (см. таблицу 7) кортежу <метод «лицом к лицу», I уровень сложности, I уровень обширности> соответствует балльная градация «5», но маловероятно, при любом другом обосновании этого соответствия могут быть присвоены градации «2», «1» или «0», хотя близкие возможны.
Кроме того, мы полагаем, что рекомендации, приведенные в разделе, являются «устойчивыми» в том смысле, что даже если изменятся балльные градации возможности решения задачи данного уровня сложности и обширности данным методом и быстроты ее решения, то рекомендации по применению экспертного метода практически не изменятся. Но даже если изменятся, то будет рекомендован «близкий» метод (например, «лицом к лицу» вместо метода комиссий или наоборот, но не Дель-фи или синектика). По крайней мере, эти экспертные методы будут из одной М-группы.
После того, как мы определились со значениями таких критериев, как быстрота и возможность решения, необходимо привести их к общей балльной шкале, чтобы иметь возможность воспользоваться теорией важности критериев, так как вышеуказанные критерии не являются однородными [7].
Для этой цели вышеуказанную общую шкалу, в которую будем переводить балльные значения возможности решения и быстроты, определим по аналогии со знакомым большинству ЛПР «школьным» способом проставления оценок в журналах учителей.
Таблица 10. Содержательная интерпретация балльных градаций общей шкалы1_______________________________________
Балльные градации Содержательная интерпретация
12 «5+»
11 «5»
10 «5-»
9 «4+»
8 «4»
7 «4-»
6 «3+»
5 «3»
4 «3-»
3 «2+»
2 «2»
1 «2-»
0 «неприемлемо», «кол»
Содержательная интерпретация балльных градаций общей шкалы базируется на древовидном упорядочении, то есть сначала эксперт определяет балльную оценку, а затем дополнительно указывает наличие «плюса» или «минуса».
Рассмотрим сведение шкалы возможности решения к общей шкале.
1 Таблица привычна для российских исследователей, но мы понимаем, что она не будет так легко восприниматься, например, представителями англоязычной системы образования со 100-балльной шкалой.
Таблица 11. Соответствие между градациями возможности применения метода к решению задачи заданного уровня сложности и градациями общей шкалы
Градации возможности решения Градации общей шкалы
5 10
4 5
Другие градации критерия «возможность решения задачи данного уровня сложности данным методом» мы не рассматриваем (так как их считаем неприемлемыми для того, чтобы метод, имеющий такие градации, можно было рекомендовать к использованию для решения соответствующей задачи).
Рассмотрим сведение шкалы быстроты к общей шкале.
Таблица 12. Соответствие между градациями быстроты решения задачи данных уровней сложности и обширности данным методом и градациями общей шкалы
Градации быстроты Градации общей шкалы
5 11
4 8
3 5
2 2
1 0
Градацию быстроты решения задачи данных уровней сложности и обширности данным методом «0» мы не рассматриваем (так как считаем ее неприемлемой для того, чтобы метод, имеющий такую градацию, можно было рекомендовать к использованию для решения соответствующей задачи).
После того как мы свели градации быстроты и возможности решения к общей шкале и тем самым перешли к однородным критериям [7], найдем наиболее подходящий метод для решения задачи II уровня сложности и I уровня обширности. Значения балльных градаций второго столбца получены из таблицы 4, а значения 3-го - из таблицы 8.
Таблица 13. Задача для II уровня сложности и I уровня обширности
Варианты методов Неоднородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 5 3
Дельфи 4 4
На основании таблиц 11-12 после приведения к однородным критериям имеем:
Таблица 14. Задача для IIуровня сложности и I уровня обширности
Варианты методов Однородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 10 5
Дельфи 5 8
Разберемся с важностью критериев (возможности решения и быстроты) [7]. Будем считать их примерно равноважными, то есть, допустим, что отношение их важностей лежит в отрезке (0,95; 1,05).
Полагаем, что скорость роста предпочтений ЛПР при движении вдоль шкалы от меньших градаций к большим убывает («информация Б» в трактовке В.В Подиновского [7]).
Попробуем продвинуться дальше и зададимся вопросом, если предпочтения ЛПР растут замедленно, то как велика эта величина «замедления». Что-то определенное на этот счет сказать сложно, можно лишь констатировать, что любые цифры, какими бы мы ни характеризовали это замедление роста менее
надежны, чем просто информация, что они растут замедленно. Допустим, что рост предпочтений замедляется примерно на 5 -10% на каждой шкальной градации в случае, если таких градаций порядка 10-14.
Теперь мы готовы приступить к решению нашей первой (из девяти) многокритериальной задачи. Пусть вариант «морфологический анализ» - vl, а вариант «метод Дельфи» - v2. Из таблицы 14, имеем vl = (10; 5), v2 = (5; 8). Они не сравнимы по Парето. Но вариант v1 «морфологический анализ» «выигрывает» по качественной важности в предположении, что критерии равноважны.
Проверим с помощью системы DASS [8], останется ли вариант v1 «морфологический анализ» «победителем», если мы учтем, критерии не строго равноважны, а лишь «примерно равноважны». Нет, не останется! Оказывается, что решение не является устойчивым.
Аналогично можно показать, что они будут не сопоставимы с привлечением «информации D», если учесть, что они «примерно равноважны».
Посмотрим, можно ли их сопоставить, привлекая информацию о конкретных интервалах разности ценности шкальных градаций. В результате, согласно программному продукту DASS, вариант v1 «морфологический анализ» все же «выигрывает».
Теперь найдем наиболее подходящий метод для решения задачи II уровня сложности и II уровня обширности.
Таблица 15. Задача для IIуровня сложности и IIуровня обширности
Варианты методов Неоднородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 5 2
Дельфи 4 4
Системный анализ После приведения к однородным критериям имеем:
Таблица 16. Задача для IIуровня сложности и II уровня обширности
Варианты методов Однородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 10 2
Дельфи 5 8
Смотрим аналогично. Варианты не сравнимы по Парето. Покажем, что они не сравнимы по количественной важности. Для этого компоненты векторов, составляющих варианты отбора, упорядочим по неубыванию: v01 = (2; 10), v02 = (5, 8). Эти варианты не сравнимы по Парето, следовательно, исходные варианты не сравнимы по количественной важности в предположении, что они равноважны [7]. Если они не сравнимы хотя в одной точке интервала важности, то они не сопоставимы и для всего интервала. Следовательно, они не сопоставимы по количественной важности. А вот с привлечением так называемой «информации D» вариант «метод Дельфи» «выигрывает» в предположении равноважности критериев [6]. С помощью системы DASS проверим, останется ли этот вариант победителем при «примерной равноважности». Да, останется.
Теперь найдем наиболее подходящий метод для решения задачи II уровня сложности и III уровня обширности.
Таблица 17. Задача для IIуровня сложности и IIIуровня обширности
Варианты методов Неоднородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 5 1
Дельфи 4 3
После приведения к однородным критериям имеем:
Таблица 18. Задача для IIуровня сложности и IIIуровня обширности
Варианты методов Однородные критерии
Балльные значения возможности решения Балльные значения быстроты
Морфологический анализ 10 0
Дельфи 5 5
Критерий «быстрота» имеет значение «0» для варианта «метод морфологического анализа». Это означает, что данный экспертный метод настолько неприемлем по критерию быстроты для задачи вышеуказанных уровней сложности и обширности, что его не имеет смысл сравнивать с другими методами для решения данной задачи, следовательно, вариант «метод Дель-фи» «выигрывает», т.е. именно этот вариант нужно отобрать.
Легко убедиться, что значения критериев для задач II и
III уровней сложности в нашем случае совпадают, то есть с математической точки зрения решение трех многокритериальных задач для определения приемлемых методов как для II уровня
сложности, так и для III уровня сложности эквивалентно тем трем многокритериальным задачам, которые были решены выше. Получается, что для этого уровня сложности и I, II и III уровня обширности «выигрывают» соответственно «мозговая атака», Дельфи и снова Дельфи.
Для первого уровня сложности нет необходимости применять какие-либо специализированные приемы и алгоритмы многокритериального анализа, так как недоминируемый вариант определяется почти очевидно - или по отношению Парето, или когда у всех вариантов, кроме одного, есть хотя бы одно такое значения какого-либо критерия, которое делает неприемлемым этот вариант для того, чтобы его рекомендовать к использованию (как в вышеприведенном случае).
Таким образом, мы просмотрели все возможные варианты, то есть решения 9-ти многокритериальных задач.
В результате решения этих многокритериальных задач мы нашли наиболее приемлемые экспертные методы для задачи каждого уровня сложности и обширности. Результаты решения этих задач рассмотрим в таблице 19.
Таким образом, в таблице 19 даны рекомендации по отбору наиболее приемлемого экспертного метода для данной задачи.
4. Рекомендации по отбору наиболее приемлемой разновидности экспертного метода для данной задачи
При переходе к обоснованию рекомендаций по отбору разновидностей экспертных методов качественно меняется логика обоснования этих рекомендаций. Если на третьем этапе процедуры мы основываемся на свойствах самого метода, то на четвертом этапе надо основываться на сопоставлении различных разновидностей одного и того же метода. И, следовательно, в первом случае мы используем непараметрическую теорию важности критериев [7], то во втором мы вынуждены использовать параметрическую теорию важности критериев [7].
Таблица 19. Наиболее приемлемые экспертные методы для решения задачи данных уровней сложности и обширности_______
Уровень сложности задачи Уровень обширности задачи
I II III
V Метод не известен, но используется интуиция (озарение) исследователя Метод не известен, но используется интуиция (озарение) исследователя Метод не известен, но используется интуиция (озарение) исследователя
IV Метод с элементами рефлексии - вариант МКВ (например, список Т. Эйлоарта) Метод с элементами рефлексии - вариант МКВ (например, список Т. Эйлоарта) Метод с элементами рефлексии - вариант МКВ (например, список Т. Эйлоарта)
III Мозговая атака Дельфи1 Дельфи
II Морфологический анализ Дельфи Дельфи
I Метод «Лицом к лицу» Метод комиссий Метод комиссий
В данной работе мы строго и формально этот вопрос рассматривать не будем, укажем лишь те критерии, которые можно применить на четвертом этапе: стоимость решения данной задачи данным методом и наличие программного продукта.
Мы считаем, что наше эмпирическое знание о специфике применения конкретных разновидностей экспертных методов к различным задачам еще слишком мало, чтобы можно было бы сделать какие-то существенные выводы по данному вопросу. Однако, мы полагаем, что общая схема решения этого вопроса такая же, как и в III -м этапе нашей процедуры: определяются конкретные значения критериев и решаются многокритериальные задачи. Проблема в том, что сейчас, как нам кажется, научным сообществом накоплено еще мало информации, чтобы сделать первый шаг
1 Мы не исключаем, что впоследствии эту «клеточку» может занять метод фокальных объектов, если получит достаточную апробацию прогностической практикой [14].
- проставить конкретные значения критериев. Но мы выражаем уверенность, что со временем ситуация улучшится, и рекомендации по отбору наиболее приемлемой разновидности экспертного метода для данной задачи получится строго обосновать.
Необходимо обратить внимание читателя на то, что практически во всех экспертных методах, используемых нами, кроме тех, что предназначены для решения задач I уровня сложности, отсутствует использование таких простейших видов оценок, как баллы, ранжировки, парные и множественные сравнения. То есть по результатам такого экспертного метода, как совещание может быть предложена ранжировка, а в результате использования процедуры Дельфи - нет. Тогда как специалистам хорошо известно, что для вышеуказанных видов оценок (кроме баллов) существует хорошо проработанный математический аппарат, и использование их достаточно перспективно. И эти теоретические результаты, и практический опыт необходимо использовать. Тем более что сама процедура попарных сравнений впервые была предложена еще в 1860 году для оценки сравнительной предпочтительности альтернатив в работе [21]. И сейчас методы анализа и обработки парных сравнений продолжают быть популярны [20]. Интересное экспериментальное и теоретическое исследование оценок, полученных методом множественных сравнений, содержится в работе [16]. Наиболее известными и разработанными среди оценок этого вида являются оценки в виде упорядоченных троек. Метод тройных сравнений подробно рассмотрен в работах [15, 19], а общий обзор представлен в работе [17]. Балльные оценки рассматриваются в работах [5, 12].
Широкое использование указанных выше экспертных оценок открывает дополнительные возможности по созданию новых методов, предназначенных для решения задач II и III уровней сложности.
5. Заключение
В данной статье впервые:
1. Предложена процедура отбора наиболее приемлемых разновидностей экспертных методов. (Стоит отметить, что послед-
ний этап процедуры проработан пока лишь эскизно).
2. Даны рекомендации по отбору наиболее приемлемых экспертных методов.
Литература
1. АЛЬТШУЛЛЕР Г.С. Найти идею. Введение в теорию решения изобретательских задач. - Новосибирск: Наука, 1986.
2. КВЕЙД Э. Анализ сложных систем. - М.: 1969.
3. КИНИ Р. Д., РАЙФА Х. Принятие решений по многим критериям: предпочтения. — М.: Радио и связь, 1981.
4. Малая Российская энциклопедия Прогностики. - М.: Изд-во ИНЭС, 2006.
5. МИРКИН Б.Г. Проблема группового выбора. - М.: Наука, 1974.
6. ПОДИНОВСКИЙ В.В. Количественная важность критериев с дискретной шкалой первой порядковой метрики // АиТ.
- 2004. - №8. - С. 196-203.
7. ПОДИНОВСКИЙ В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. -М.: Физматлит, 2007. - 64 с.
8. ПОДИНОВСКИЙ В.В. Анализ задач многокритериального выбора методами теории важности критериев при помощи компьютерных систем поддержки принятия решений // Изв. АН. Теория и системы управления. - 2008. - №2. -С. 64-68.
9. САЛТЫКОВ С.А. Обширность задачи как один из ключевых факторов выбора наиболее эффективного экспертного метода // Материалы XXXV Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, май 2008. - С. 360-361.
10. САЛТЫКОВ С.А. Экспериментальное сопоставление различных многокритериальных подходов // Материалы XXXVI Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе» (Ялта, Гурзуф, май 2009 г.). Приложение к журналу «Открытое образование». - С. 315-317.
11. Словарь русского языка в четырех томах. Том 2. - М.: Государственное издательство иностранных и национальных словарей, 1958.
12. СИДЕЛЬНИКОВ Ю.В. Системный анализ технологии экспертного прогнозирования. — М.: Из-во МАИ-Принт «МАИ», 2007. — 348 с.
13. СИДЕЛЬНИКОВ Ю.В., САЛТЫКОВ С.А. Процедура установления соответствия между задачей и методом // Экономические стратегии. - 2008. - №7. - С. 102-109.
14. СИДЕЛЬНИКОВ Ю.В., САЛТЫКОВ С.А. Отбор наиболее эффективного экспертного метода для задачи III уровня сложности и II уровня обширности // Материалы третьей международной конференции «Управление развитием крупномасштабных систем», MLSD'2009, 5-7 октября 2009 г., Москва. - Том 1. - С. 212-215.
15. Статистическое измерение качественных характеристик. -М.: Статистика, 1972.
16. ТЮРИН Ю.Н., ВАСИЛЕВИЧ А.П., АНДРУКОВИЧ П.Ф. Статистические модели ранжирования. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. -С.30-58.
17. ШМЕРЛИНГ Д.С., ДУБРОВСКИЙ С.А., АРЖАНОВА Т.Д. и
др. Экспертные оценки. Методы и применение: Обзор // Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - С. 290-382.
18. ЭЙЛОАРТ Т. Приемы настройки творческого инженерного коллектива // Изобретатель и рационализатор. - 1970. - №5. С. 28-40.
19. CHEBOTAREV P.YU. Aggregation of preferences by the generalised row sum method // Mathematical Social Sciences. -1994. -Vol. 27. - P. 293-320.
20. DAVID H.A. The method of paired comparisons. -London: Griffin, 2d, 1969. - 124 p.
21. FECHNER G.T. Elemente der psychophysik. - Leipzig: Breitkopf und Hartel, 1860.
PROCEDURE FOR SELECTION OF THE MOST ELIGIBLE VARIETIES OF THE EXPERT METHODS
Jury Sidelnikov, Institute of Control Sciences of RAS, Moscow, Doctor of Science, professor ([email protected]).
Sergey Saltykov, Institute of Control Sciences of RAS, Moscow, junior researcher ([email protected]).
Abstract: In this article the procedure is first developed and justified for selection of the most suitable varieties of expert methods for solving forecasting evaluation tasks, expert method selection recommendations are given for problems of different levels of complexity and extensiveness.
Keywords: procedure for selection of the expert method, the complexity of the problem, the extensiveness of the problem.
Статья представлена к публикации членом редакционной коллегии В. Н. Бурковым
