CC BY
97
Iljfl Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
К выбору оценочной шкалы в методе анализа иерархий
И.Н. Мощенко, Е.В. Пирогов Южный федеральный университет, Ростов-на-Дону
Аннотация: Проведено исследование погрешностей метода в зависимости от выбора численной аппроксимации используемых лингвистических переменных. Получено, что необходимым условием отсутствия объективных (не зависящих от мнений экспертов) причин несогласованности матриц парных сравнений является замкнутость численной шкалы относительно композиции оценок. В частности, для классического метода анализа иерархий, идущего от работ А. Саати, такая шкала не замкнута. Когда критерии одного уровня иерархии неодинаковы по приоритетам относительно вышележащих целей (а такая ситуация чаще всего и бывает), даже один эксперт, в принципе не может дать согласованную матрицу парных оценок. С чем, собственно говоря, и связано оказание большого внимания в классической рассматриваемой технологии методам оценки несогласованности матрицы парных сравнений и ее минимизации. При увеличении числа экспертов этот эффект усиливается.
Замкнутая оценочная шкала может быть получена из последовательных степеней одного какого-либо числа. В работе для этих целей используются степени числа 1,5, хотя не исключается и другой выбор. Для таких шкал объективные причины возникновения несогласованности матицы парных сравнений отсутствуют, а субъективные, связанные с несогласованностью мнений эксперта, могут быть устранены в процессе формирования оценок.
Предложенная методика поясняется на конкретном примере использование метода анализа иерархии при оценке кадровых рисков в малых некоммерческих проектах. Ключевые слова: метод анализа иерархий, экспертная оценка, оценочная шкала, матрица парных сравнений, нарушение транзитивности, объективные причины несогласованности, замкнутость относительно композиции, АТ-проекты, кадровые риски.
При некоторых социологических исследованиях возникает необходимость в выявлении для целевой аудитории их оценок значимости и ранжировки ряда объектов. К примеру, кандидатов и политических партий для выборов различных уровней, престижа будущих профессий для выпускников школы или вузов и т.д. Еще в 20-х годах прошлого века один из основоположников теории измерений в социологии Терстоун предложил для этих целей не использовать прямой опрос о значимости и ранжировании сразу всего ряда объектов, а применять метод парных сравнений [1,2]. В котором респондентам предлагается различные пары объектов, и просят оценить их по заданному критерию. Конечно, для такого метода в анкете
количество вопросов возрастает, но это с лихвой окупается увеличением адекватности ответов. Не специалисту по исследуемым объектам тяжело оценить значимость сразу всего их ряда, и гораздо легче сравнить всего два. В результате такого опроса для каждого респондента получается квадратная матрица парных сравнений |бг;| (1, ] пробегают значение от 1 до п, где п -
число объектов). Строки и столбцы ее обозначаются в соответствии с нумерацией объектов. На пересечении 1-ой строки и ]-го столбца стоит оператор сравнения Ьц (из применяемой для этих целей шкалы) а1 объекта и а^ В классическом методе Терстоуна используется порядковая шкала, и всего два оператора сравнения: предпочтительнее (больше, значимо, больше подходит и т.д.) и менее предпочтительно (меньше, менее значимо, меньше подходит и т.д.) [1,2]. С математической точки зрения свойства таких отношений полностью эквивалентны свойствам операторов > и <.
Метод парных сравнений Терстоуна обладает свойством шкального критерия [1-4]. По исходным данным можно определить некоторые характеристики, которые позволяют оценить адекватность результатов опроса и пригодность метода для проведения нужных исследований. Элементы получаемых матриц сравнений не являются полностью независимыми. Отношения больше и меньше взаимно обратимы и по отдельности транзитивны. Матрица парных сравнений наследует эти свойства. В идеале она должна быть обратно симметричной (Ь]д=(Ьц)-1, где ()-1 означает элемент, обратный элементу, приведенному в скобках) и для ее компонентов должна выполняться транзитивность относительно последовательных операций сравнения (Ь^Ь^Ькд, где ° обозначает композицию). Реально для матриц, построенных по ответам респондентов, могут наблюдаться отклонения от этих закономерностей. По количеству таких нарушений строят индекс согласованности, который дает оценку
адекватности полученных результатов и их пригодности для целей исследования [2-4].
Следует отметить, что обычно в матрице парных сравнений стандартные математические обозначения не используются. Вместо больше (>) применяется 1, а вместо меньше (<) используется 0. Это делается для удобства дальнейших расчетов по интерпретации полученных данных. Терстоун предложил для них довольно сложный статистический метод обработки, в конечном результате которого определяются усредненные по всей аудитории показатели значимости исследуемых объектов. Следует отметить, что (как обычно в статистике) средние хорошо отражают всю совокупность полученных результатов только при их сильной однородности. Но как раз в социологии и исследуемая аудитория, и проводимые ею оценки редко бывают однородными.
В этом авторов данной статьи убеждают не только литературные данные, но и собственный опыт. Начиная с 2009 г. и по настоящий момент нами проводились многочисленные экспериментальные исследования по мониторингу эмоционального восприятия таких социальных явлений как собственный уровень относительной депривации [5] и местные и центральные политические порядки [6-8], собственное эмоциональное состояние [9], культурная жизнь города в целом и культурная инфраструктура [10]. Опросы выполнялись в основном среди студентов городов Владикавказа, Грозного, Карачаевска и Ростова-на-Дону, а также политически активной части населения Ростовской области. Всего было выполнено анкетирование нескольких тысяч респондентов по вышеприведенным тематикам. Исследования проводились не методом парных сравнений, но в них везде использовались оценочные шкалы, и для всех полученных данных ответы респондентов были сильно неоднородны, размазаны по всему диапазону используемых шкал [11,12].
При большой размазанности исходных данных выход из создавшегося положения - смена порядка операций «усреднение - расчет». В частности, в социологии для такой ситуации при вычислении латентных факторов расчет проводят по индивидуальным данным, а для характеристики исследуемой группы используют функцию распределение факторов по респондентам [1113]. Все это говорит о том, что для более адекватной интерпретации исходных данных в методе парных сравнений Терстоуна необходимо рассчитывать не усредненные уровни значимости исследуемых объектов, а функции распределения этих уровней. Настолько нам известно, на настоящий момент такого обобщения технологии Терстоуна не сделано. Это не значит, что работа по дальнейшему развитию таких методик измерений не велась. Наоборот, это направление привлекало, и привлекает в настоящий момент большое внимание, как в практическом плане, для использования в конкретных измерениях, так и в теоретическом аспекте, по пути усовершенствования методики. Просто работа велась не в вышеуказанном направлении. Мы немного остановились на истоках метода парных сравнений, более подробно описывать конкретную технику работы, предложенную Терстоуном, не будем.
В нашей работе рассматривается другая разновидность парных сравнений, предложенная в 60-х годах прошлого столетия группой американских ученых, руководимых Т. Саати [14-16]. Следует отметить, что этими исследователями разработан не только и не столько свой вариант сравнений. Ими создана общая методология для анализа широкого и разнообразного круга проблем, связанного с решением многокритериальных задач [17-18]. В конечном итоге такая технология обеспечивает сквозную методологию планирования, которая позволяет прояснить цель, обеспечить консенсус и синтезировать управленческий и операционный опыт, чтобы получить лучшие, быстрые и защищенные решения [18]. За рубежом
разработанная группой Саати технология получила название: аналитический иерархический процесс (Analytic Hierarchy Process - AHP) [14-18]. В нашей литературе она известна как метод анализа иерархий (МАИ) [17], и дальше будем употреблять именно этот термин.
Первоначально МАИ разрабатывался для решения различных управленческих проблем [14-16]. Но как сказал сам Саати, этот метод «является замкнутой логической конструкцией, обеспечивающей с помощью простых правил анализ сложных проблем во всем их разнообразии и приводящей к наилучшему ответу» [16]. И его рамки впоследствии были значительно расширены. Любая ситуация, связанная с выбором одной альтернативы из нескольких, прогнозированием сценариев, распределением ресурсов, реинженерингом, контролем качества различных объектов и т.д. могут быть исследованы МАИ [17]. Все это привело к широкому его использованию и разработке на этой базе ряда компьютерных пакетов (к примеру, широко известная программа для экспертной оценки Expert Choice фирмы Decision Support Software [18]).
В основу метода анализа иерархий положены три принципа [14-18]:
• декомпозиции;
• сравнительных суждений;
• иерархической композиции или синтеза.
Первый принцип позволяет исследователям организовывать связанную с проблемой комплексную информацию в иерархическую модель, которая состоит из цели, возможных сценариев, критериев и альтернатив. На рис. 1 для примера приведена иерархическая модель избирательного процесса, взятая из [17]. Для анализа использовалось вышеуказанное программное обеспечение Expert Choice. Здесь показан первый этап, построение доминантных иерархий. Модель трехуровневая, на высшем находится цель кандидатов - стать депутатом Госдумы. На втором уровне находятся два
элемента, от которых зависит достижение цели: Поля электората и Ресурсы кандидата. На каждом из них размещены в свою очередь их определяющие элементы третьего уровня. Для «Поля электората» это уровни «Коммунистический», «Демократический», «Центристский», «Болото» и «Административное», задающие политические предпочтения электората. Уровень «Ресурсы кандидатов» определяется «Финансовыми», «Организационными», «Личностными», «Административными» и «Сетевыми» ресурсами. С левой стороны модели показан еще один уровень кандидатов, в дальнейшем на нем будут формироваться вероятные сценарии выборов для претендентов на пост депутата. Здесь следует отметить, что как сказано в [17], «Построение доминантных иерархий в такой же мере наука, как и искусство». Модель зависит как от внешних объективных условий, так
и внутренних субъективных факторов самого эксперта.
Рис. 1. Модель избирательного процесса, построение доминантных
иерархий [18].
II Инженерный вестник Дона, №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
Она отражает теоретические представления и предпочтения последнего и для другого эксперта список элементов на всех уровнях наверняка был бы иным
[17].
Важность критериев, преимущества альтернатив и вероятности сценариев оцениваются с помощью применения метода парных сравнений
[18] проводимого на этапе сравнительных суждений. Более подробно на этой стадии моделирования остановимся чуть позже. Здесь только отметим, что проводится она методом экспертного опроса, каждый из которых формирует матрицы парных сравнений элементов для каждого уровня. Для примера на рис. 2 показана такая матрица для уровня «Поля электората» [18]. В отличии от технологии Терстоуна в МАИ используются более детальные сравнения. Компоненты матрицы показывают, во сколько раз один объект превосходит другой (by= ai / aj) по отношению к элементу верхнего уровня. В данном случае во сколько раз одно политическое направление предпочтительнее другого для избирателей.
Электоральное поле округа
Коммунистическое Демократическое Центристское «Болото» Административное
Коммунистическое 1 5 1 1/3 3
Демократическое 1/5 1 1/5 1/7. 1/5
Центристское 1 5 1 1/3 1
«Болото» 3 7 3 1 5
Административное 1/3 5 1 1/5 1
Рис. 2. Матрица парных сравнений для уровня «Поля электората» [17].
Для уровня сценариев (Кандидатов) матрицы строятся несколько иначе. Для каждого кандидата формируется две матрицы. Опять же «Электорального поля округа» и «Ресурсов кандидатов», но по другим критериям сравнения. Первая матрица зависит от политических ориентаций кандидата и показывает электоральные предпочтения избирателей уже
относительно конкретного кандидата. Вторая отражает предпочтения самого кандидата в выборе средств проведения избирательной кампании. По найденным матрицам парных сравнений для каждого уровня рассчитываются локальные приоритеты. Подбираются нормированные уровни значимости, наилучшим образом согласующиеся с матрицей. При этом могут использоваться различные критерии согласования. Саати показал, что неплохие результаты получаются, если приоритеты считать по нормированному собственному вектору, соответствующему максимальному действительному собственному значению [14-16]. Этот способ используется в большинстве исследованиях, применяющих МАИ, в частности в пакете Expert Choice. На рис. 3 приведены приоритеты, посчитанные на этой программе для матрицы, показанной на рис. 2 [17].
Локальные приоритеты
Коммунистическое Демократическое Центристское «Болото» Адм инист-ратнвное
0,204 0,041 0,165 0,464 0,127
Рис. 3. Локальные приоритеты элементов уровня «Поля электората» [17].
Мы описали краткую схему этапа сравнительных суждений МАИ. Конечная цель его - получение локальных приоритетов на всех уровня. При этом в реальных исследованиях бывают отклонения от этой схемы. На некоторых уровнях приоритеты могут быть найдены из других соображений. Особенно это касается сценариев. Для разобранного примера сценарии использования кандидатами ресурсов можно выявить прямым опросом. Если раннее среди избирателей было проведено анкетирование по электоральным предпочтениям (как для рассматриваемого в [17] случая), то по его результату и политической ориентации кандидата для каждого из них можно оценить ожидаемое число голосов от аудиторий с различным предпочтением.
Другими словами локальные предпочтения аудитории по отношению к конкретному кандидату.
Полученные на втором этапе результаты позволяют на последнем шаге МАИ провести синтез или иерархическую композицию. Локальные приоритеты мультиплицируются в глобальный приоритет относительно главной цели, при этом вычисляются глобальные приоритеты на всех уровнях иерархии. Для разобранного на нижнем ступени («Кандидаты») мы получим, таким образом, уровень значимости каждого претендента по отношению к главной цели - победе на выборах, т.е. оценку вероятности стать депутатом для каждого кандидата. В данном случае МАИ использовался для прогностических целей. Гораздо чаще эта технология применяется при решении управленческих задач. Полученные на последнем этапе глобальные приоритеты сценариев позволяют выбрать наиболее подходящий из них на начальном этапе выполнения проекта. Потом МАИ используют в режиме мониторинга, оптимизируя на каждом шаге действия.
Рассмотрим более подробно разновидность метода парных сравнений, применяемую группой Т. Саати. Как мы уже указывали, они предложили использовать не порядковый масштаб сравнений (как Терстоун), а шкалу отношений. При этом Т. Саати рекомендовал для сравнения объектов применять лингвистические переменные. Шкалу, состоящую из словесных определений «равное значение», «слабое преимущество», «сильное преимущество», «очень сильное преимущество», «абсолютное преимущество», а также и им обратных [17]. Вполне логично бы было и дальнейшую обработку полученных данных и интерпретацию результатов проводить по правилам, разработанным именно для таких переменных. Здесь следует отметить, что чуть раньше, чем появились работы группы Т. Саати по МАИ, другой видный американский математик Л. Заде опубликовал свою первую работу по математическому аппарату для работы с
лингвистическими переменными - теорию нечетких множеств [19,20]. Прикладная часть этой теории разрабатывалась Л. Заде позже, в начале и середине 70-х, то есть примерно параллельно с разработкой МАИ. Поэтому в технологии анализа иерархий группа Саати не использовала математический аппарат, созданный специально для лингвистических переменных. Они поступили проще, каждую такую переменную они заменили обыкновенным числом [14-17]. В частности для лингвистического ряда, приведенного в начале абзаца, используется числовая шкала 1; 3; 5; 7; 9 (и ей обратная), соответственно. Вся дальнейшая обработка и интерпретация полученных результатов в МАИ проводится на базе уже числовой шкалы.
Хотя к середине 70-х прошлого столетия теория нечетких множеств была в основном разработана, и началась широко использоваться, ее внедрение в МАИ так и не произошло. Во всех последующих исследованиях по этой технологии (и во всех разработанных прикладных программных пакетах) применялась числовая шкала, предложенная Т. Саати. В частности, матрица парных сравнений, взятая для примера из [17] (см. рис. 2), построена на программе для экспертной оценки Expert Choice именно в этой шкале.
Во многих работах, посвященных или использующих МАИ, указывается, что они применяют порядковую шкалу [14-17]. Однако это не совсем так. Действительно, опрос экспертов или респондентов проводится по порядковой лингвистической шкале. Но как это часто бывает в социологии, при интерпретации результатов употребляют методологии, подходящие только к интервальным шкалам. Завышая этим тип используемой шкалы, приписывая ответам респондентов качества, которые те и не имели в виду.
Для определения реального типа применяемой шкалы в принципе есть очень хороший критерий. Каждая из основных типов шкал (номинальная, порядковая и интервальная) характеризуется группой математических преобразований, относительно которых и шкалы, и все результаты должны
быть инвариантны. Для порядковых шкал это группа отдельного сдвига всех дискретных значений шкалы на любую величину, при которых не нарушается порядок расположения элементов. Т.е. результаты в МАИ (локальные и глобальны приоритеты), полученные по вышеприведенной шкале, и, к примеру, по шкале 1; 1,1; 2,74; 12; 13,4 должны быть одинаковы, если это полностью порядковая шкала. Легко проверить, что для матрицы, изображенной на рис. 2, и записанной в этих двух шкалах получим два разных вектора локальных приоритетов. Это справедливо и для других уровней и для глобальных приоритетов, которые получаются мультипликацией локальных. Таким образом, в МАИ применяется все-таки интервальная шкала и построение такой технологии с полностью порядковой шкалой - работа для будущих исследователей.
Также как и в методе Терстоуна, в технологии Саати матрицы парных сравнений в идеале должны быть обратно симметричны и удовлетворять условию транзитивности относительно композиции двух сравнений. При этом матричный элемент, соответствующий композиции, получается произведением элементов исходных сравнений, а обратный элемент -делением единицы на прямой элемент. Т.е. в МАИ матрицы обратно симметричны, и их элементы транзитивны относительно простого арифметического умножения:
Конечно, это в идеальном случае, который обычно никогда не реализуется. И по степени нарушения этих условий строят индекс согласованности матриц, позволяющий оценить, насколько полученные результаты пригодны для дальнейшей работы по технологии МАИ [3,4].
В полностью согласованной матрице размером пхп только п элементов линейно независимы. В качестве таких элементов можно взять любую строку, к примеру ]-ю. Из нее легко получить все остальные компоненты
Ьу=1/Ь],ъ
Ьу=Ь^Ь]у .
(1)
Iljfl Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
матрицы: j-ый столбец ей обратен (см. (1)), любая другая i-ая строка рассчитывается как произведение i-го элемента этого столбца (by) на j-ю строку
bi,j=1/bj,i; bi,k=bi,jbj,k , k=1...n. (2)
В таблице 1 приведена полностью согласованная матрица парных сравнений, полученная из первой строчки матрицы, изображенной на рис. 2
Таблица 1.
Полностью согласованная матрица парных сравнений для примера, приведенного в [17], рассчитанная по первой строке экспериментальной
матрицы.
Коммунисти- Демократи- Центристское «Болото» Администра-
ческое ческое тивное
Коммунисти- 1 5 1 1/3 3
ческое
Демократи- 1/5 1 1 /5 1/15= 3/5=
ческое (1/3X1/5) (3X1/5)
1 5 1 1/3 3
Центристское
3 15= 3 1 9=
«Болото» (5)(3) (3)(3)
Администра- 1/3 5/3= 1 /3 1/9= 1
тивное (5X1/3) (1/3X1/3)
Красным цветом показаны компоненты, которые не совпадают с элементами экспериментальной матрицы (рис. 2). Для них же приведены определяющие произведения. Как мы видим, в исходной матрице довольно большое число нарушений транзитивности, восемь. Это из 20 независимых компонент исходного экспериментального набора, т.е. одна четверть.
В современном варианте метода парных сравнений Терстоуна степень логической согласованности матриц (этот параметр обычно называют
индексом согласованности) оценивают по доле нарушений асимметричности и транзитивности [2]. Для вышеописанного примера она будет равна 0,4. В МАИ используется другой критерий для расчетов индекса согласованности, основанный на степени отклонения главного собственного значения матрицы суждений от ее размерности (для полностью согласованной матрицы эти две величины равны) [3,4]. Во всех последующих работах, как по применению, так и дальнейшему развитию МАИ, эта часть не изменялась, осталась такой же, как ее предложили разработчики. Подробно на ней останавливаться не будем. Отметим только, что индекс согласованности МАИ сильно занижен по сравнению с оценками по Терстоуну. В частности, для матрицы на рис. 2 он имеет значение 0,054 (рассчитанное по программе Expert Choice) [17].
На наш взгляд, это неправомерное занижение. По нашему мнению более адекватную оценку рассогласованности дает индекс, рассчитанный по доле логических нарушений в матрице. Психологические причины, почему группы Саати остановилась на своем варианте, понятны. Технология МАИ имеет внутренние логические противоречия (которых нет в методе Терстоуна), приводящих к увеличению степени несогласованности матриц суждений. И если этот индекс рассчитывать по Терстоуну, то во многих реальных исследованиях он будет превышать планку адекватности (чаще всего ее принимают равной 0,1 [17]). Как это и наблюдается для выше разобранного примера матрицы рис. 2.
Внутреннее логическое противоречие метода Саати заключается в том, что в нем кроме субъективных причин появления нарушений транзитивности (обусловленных несогласованностью мнений эксперта) имеются объективные, вызванных самим методом. Вышеприведенная числовая шкала МАИ не замкнута относительно композиции двух сравнений. И если в результате такой композиции мы выйдем за шкалу, то это означает, что для этого элемента эксперт даже при всем своем желании не может выставить
согласованную оценку. Такая ситуация, к примеру, наблюдается для четвертого элемента второй строчки матриц рис. 2 и табл. 1. В соответствии с законом транзитивности он должен быть равен композиции четвертого элемента первой строки и первого второй строки, получаем 1/15. Но такого значения нет в шкале. Для всех несоответствий, отмеченных в табл. 1, только половина вызвана чисто субъективными причинами. Это несогласованность для последних компонент третьей и четвертой строк и им обратных. Вторая половина нарушений может быть связана с незамкнутостью числовой шкалы.
Выход из этой ситуации очевиден - использовать шкалу, образованную степенями какого-либо одного числа. Тогда она будет замкнута относительно композиции, и не будет объективной причины для генерации несогласованности (отметим, что в методе парных сравнений Терстоуна шкала замкнута). Несогласованность мнений эксперта как причина нарушений транзитивности и асимметричности, конечно, останется. Но в процессе ответов эксперта они могут быть минимизированы для замкнутой шкалы по следующему алгоритму: вначале заполняются парные сравнения для первой строки матрицы, и по ней, как указано выше, генерируется полностью согласованная матрица. На втором этапе эксперту предлагают остальные пары. При этом каждый вновь выставленный элемент сравнивается с идеальной матрицей. В случае появления отличий процесс останавливается, эксперту показываются несогласованные пары сравнений и предлагается их скорректировать. Если он настаивает на своем варианте, то процесс продолжается с фиксацией возникшей несогласованности. В конечном итоге кроме экспериментальный матрицы мы имеем еще идеально согласованную и по разнице между ними можем оценить индекс согласованности, к примеру, либо просто как у Терстоуна, по числу отклонений, либо более точно, по общей сумме относительных отклонений для каждого элемента. На выходе у нас также будет список парных
сравнений, с логическими нарушениями. Если индекс согласованности окажется на приемлемом уровне, то дальнейшая обработка результатов может проводиться полностью по технологии МАИ, не обращая внимания на нарушения.
В том случае, когда уровень индекса выше принятой планки, проводится детальное исследование причин этого, именно по вышеупомянутому списку. Основные причины и методы борьбы с ними описаны в [2] и здесь на них мы останавливаться не будем.
Мы описали алгоритм получения матрицы суждений, если у нас участвует только один эксперт. Когда же их несколько, то каждый элемент общей матрицы получается, как среднее геометрическое по индивидуальным данным. При этом вышеописанный эффект не замкнутости числовой шкалы в случае оценок несколькими экспертами мультиплицируется. Для замкнутых шкал и полной согласованности индивидуальных оценок и результирующая матрица не будет иметь нарушений. Когда же наблюдаются некоторые логические нарушения на индивидуальном уровне, они, конечно, наследуются и общей матрицей. Индекс согласованности ее может быть оценен опять же либо по общей доле нарушений, либо по усредненной (по экспертам) сумме относительных отклонений. Для этих целей можно использовать и другие метрики, в том числе и матричные, все зависит от конечных целей исследования.
Модернизированный МАИ с замкнутой шкалой был опробован нами на примере анализа кадровых рисков управления малыми некоммерческими 1Т-проектами [21]. Подробно особенности таких проектов и актуальность прогнозирования именно кадровых рисков приведены в [21], акцентировать внимание на этом не будем. Здесь опишем только получение матриц парных сравнений, а также материалы, необходимые для понимания этого процесса. Конечной целью нашего анализа была разработка методики
выявления степени пригодности для кандидатов в рабочую команду в начале проекта, и мониторинг такого соответствия уже для членов команды в ходе его выполнения.
Иерархия используемых нами критериев соответствия кандидатов и членов команды задачам проекта приведена в табл. 2. Следует отметить, что рассматриваемые проекты предполагалось выполнять силами студентов, из них должна набирается рабочая команда. Они еще не обладают профессиональными качествами разработчиков программ высокого уровня, одна из целей их участия в проекте как раз достижение этого уровня в ходе выполнения проекта. Здесь низка их материальная мотивация, но высока моральная и творческая. Все это определяло особенность используемых критериев.
Таблица 2.
Иерархия критериев пригодности
1 Уровень - Степень пригодности кандидата Цель: Оценка степени пригодности Критерий: Общая степень пригодности кандидата
2 Уровень - Факторы 1. Техника 2. Увлеченность
3 Уровень - Ресурсы а. Время на проект б. Уровень профессионализма в. Производительность г. Техническая обеспеченность а. Вовлеченность б. Климат в коллективе в. Темперамент г. Значимость проекта
Для каждого уровня методом экспертного опроса были определены матрицы парных сравнений. При этом использовалась замкнутая относительно композиции сравнений числовая шкала, образованная последовательными степенями 1,5. Она показана на рис. 4. Здесь в первом столбце приведены шкало-образующие степени, в последнем - получаемые при этом конкретные числовые значения. Конечно, просить экспертов оценить, насколько один фактор больше другого по шкале из нецелых чисел психологически неверно.
Iljfl Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
Для этих целей нами использовались лингвистические переменные, показанные в среднем столбце. Хотя можно было бы при опросе работать и с числовой шкалой, конечно округленной, типа
(1; 1,5; 2; 3; 5; 8; 11). (3)
В этом случае для дальнейшей обработки необходимо было бы обратно возвращаться к исходной шкале (рис. 4), заменяя округленные числа на исходные.
Лингвистические переменные
0 Равное 1
1 Слабое преимущество 1,5
2 Преимущество 2,25
Значительное
3 преимущество 3,375
4 Сильное преимущество 5,0625
Очень сильное
5 преимущество 7,59375
6 Абсолютное преимущество 11,390625
Рис. 4. Шкала, предлагаемая нами для проведения парных сравнений в
МАИ.
Полученная при экспертном опросе матрица парных сравнений для второго уровня приведена в табл. 3. Ее недиагональные элементы взаимно обратны и этого достаточно, что бы она была согласованной в вышеуказанном смысле. Для матриц больших размерностей требуется еще выполнение транзитивности, но на двух элементах это понятие не применимо.
Таблица 3.
Матрица попарных экспертных оценок второго уровня.
Техника Увлеченность Локальные приоритеты
Техника 1 0,13 1/8,59 = 0,12
Увлеченность 7,59 1 7,59/8,59 = 0,88
Сумма 8,59
Для согласованных матриц парных сравнений есть очень простая методика расчета локальных приоритетов. Любой столбец матрицы суждений представляет собой ненормированный вектор этих приоритетов. При этом компоненты нормированного вектора равны отношению соответствующих матричных элементов этого столбца к сумме всех элементов столбца. В Табл. 3 в последней строке показана сумма первого столбца, а правая колонка иллюстрирует такой способ расчета локальных приоритетов.
При опросе экспертов для выявления матриц парного сравнения третьего уровня (относительно критериев «Техника» и «Увлеченность») была использована вышеописанная процедура минимизации несогласованности мнений эксперта. В результате эти матрицы получились полностью согласованными в вышеуказанном смысле, с индексом согласованности (рассчитанным как по Саати, так и по Терстоуну) равным нулю. Они представлены в Табл. 4 и 5. Здесь в предпоследней строчке приведена сумма элементов первого столбца, в последней - вектора локальных приоритетов, посчитанные по этому столбцу.
Кроме системы доминантных иерархий (см. Табл. 1) и локальных приоритетов для них, в МАИ всегда есть уровень исследуемых объектов. В качестве таких объектов выступают либо различные сценарии выполнения
Iljfl Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
определенного процесса, либо действительно различные социальные производственные объекты.
Таблица 4.
Матрица попарных экспертных оценок элемента «Техника».
Техника A1 A2 A3 A4
Время Уровень проф Производ Техн обеспеч
Время 1 3,375 2,25 5,062
Уровень проф. 0,296 1 0,666 1,5
Производительность 0,444 1,5 1 2,25
Техн. обеспеченность 0,197 0,666 0,444 1
Сумма 1,938
Локальные приоритеты «Техники» 0,515 0,152 0,229 0,102
Таблица 5.
Матрица попарных экспертных оценок элемента «Увлеченность».
Увлеченность B1 B2 B3 B4
Вовлеченность Климат Темперамент Значимость
Вовлеченность 1 3,375 2,25 1,5
Климат 0,296 1 0,666 0,444
Темперамент 0,444 1,5 1 0,666
Значимость 0,666 2,25 1,5 1
Сумма 2,407
Локальные
приоритеты «Увлеченности» 0,415 0,123 0,184 0,276
Для каждого из них на этом уровне задается вес элементов последнего уровня критериев. В нашем случае это кандидаты в команду разработчиков и их характеристики (по шкале от 0 до 1) относительно факторов последнего уровня. В таблице 6 для примера приведены эти показатели для трех человек. Реально конечно их больше. В средней команде малого проекта обычно 5-7 разработчиков, значит, кандидатов должно быть не менее 10.
Iljfl Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
Исходя из принципа иерархической композиции, обратной мультипликацией данных из таблиц 3 - 6 можно получить оценки значимости
кандидатов по критериям всех уровней, вплоть до верхнего, глобального.
Таблица 6.
Характеристики кандидатов.
Техника Увлеченность
a1 a2 a3 a4 Ь1 Ь2 Ь3 Ь4
(Свойства выставляются от 0 до 1) Время Уровень проф Производит. Техн.. Обеспеч. Вовлечен. Климат Темперамент Значи-мость Общая степень соответствия S кандидатов
1 кандидат 1 0,1 0,5 1 0,8 1 0,7 0,8 0,7991479
2 кандидат 0,9 0,15 0,4 0,1 0,7 1 0,7 0,8 0,7435622
3 кандидат 0,5 0,1 0,7 1 0,8 1 0,5 0,9 0,7655726
В данном случае значимость претендентов означает их степень соответствия целям и задачам проекта. При этом глобальное соответствие Б, получаемое для верхнего уровня рассчитывается по формуле:
Б = Т£Л1*а1 + У£Б1*Ы; (1={1-4}); (4)
где Т и У локальные приоритеты техники и увлеченности из Табл. 3, Л1 и Ы локальные приоритеты элементов третьего уровня из Табл. 4 и Табл. 5 соответственно, а1 и Ы веса элементов третьего уровня для каждого кандидата по отдельности (см. Табл. 6)
Полученные таким образом степени соответствия каждого кандидата (нормированные от 0 до 1) приведены в Таб. 6 в последней колонке. Видно, что наиболее подходящим для проекта является кандидат №1, наименее -кандидат №2, хотя разница между ними не очень велика.
Мы привели пример расчета степени соответствия нескольких кандидатов. Такая методика может быть использована для минимизации
кадровых рисков, как при формировании команды разработчиков, так и в процессе мониторинга выполнения проекта. В первом случае таблица характеристик кандидатов формируется на базе вступительной анкеты, собеседований, тестовых испытаний, проводимых перед набором команды. Во втором случае корректировкой характеристик может заниматься социальный аналитик, сопровождающий проект. В последнее время широко распространяются гибкие методики управления IT-проектами, такие как Scrum, XP, Lean, Scrumban др. [22]. Практически во всех них вся задача проекта разбивается на большой ряд подзадач, после каждой из которых предусмотрена обратная связь выполнение работы - результат - поиски путей улучшения выполнения работы на следующий этап. В Scrum технологии управления такая обратная связь называется ретроспективным анализом, проводится он раз в одну-две недели. И по его результатам scrum-мастеру (в этой технологии так называется социальный аналитик) легко выявлять изменение характеристик членов команды. При этом для отслеживания степени соответствия разработчиков задачам проекта корректировать надо не только таблицу характеристик, но и локальные приоритеты на различных уровнях иерархии критериев. К примеру, на начальном этапе профессиональный уровень всех претендентов невысок и отбор производится в основном по критерию «Увлеченность» (см. Табл. 3). В ходе выполнения проекта профессионализм должен повышаться, и с течением времени локальный приоритет «Техники» нужно увеличивать, вплоть до соотношения 0,5 на 0,5 к последней четверти срока реализации.
В заключение кратко отметим основные результаты работы. Показано, что не замкнутость числовой шкалы относительно композиции сравнений является в МАИ одним из источников внутренних, присущих самому методу противоречий. Такая шкала приводит к логической рассогласованности матриц парных сравнений, что в свою очередь снижает точность измерений и
адекватность результатов. Для устранения этого недостатка предложено при проведении парных сравнений применять замкнутую шкалу, образованную степенями какого-либо одного числа. Нами использовалась шкала, получаемая последовательными целыми степенями числа 1,5.
В работе исследованы и другие преимущества, которые дает замыкание шкалы сравнений. В частности, гораздо легче становится выявление степени несогласованности матрицы. Появляется возможность сделать это поэлементно и оперативно, в ходе экспертного опроса. На основе чего была разработана методика минимизации субъективных нарушений матрицы сравнений, обусловленных рассогласованностью мнений и оценок эксперта. Кроме того, предложен более адекватный и более легкий, чем в классическом МАИ, способ расчета индекса согласованности - по количеству логических нарушений в матрице (как это делал еще Терстоун). Методика расчета локальных приоритетов при использовании замкнутых шкал также становится легче, прозрачнее и более адекватной.
Все полученные результаты проиллюстрированы на конкретном примере, связанном с минимизацией кадровых рисков при выполнении малых некоммерческих 1Т-проектов. Следует отметить, что эта методика легко может быть адаптирована для анализа и минимизации любых рисков возникающих при выполнении 1Т-проектов, а не только кадровых. Это относится также и ко всем отдельным результатам, полученным по проведению и анализу парных сравнений. Они могут быть использованы и вне МАИ, для любых оценок ряда объектов и ранжировок их по значимости.
Выполнено по гранту ЮФУ № ВИГр-07/2017-20.
Литература
1. Thurstone L. L. A law of comparative judgement. Psychological review. V. 34, no. 4. 1927. Pp. 273-286.
2. Толстова Ю.Н. Измерение в социологии: Курс лекций. М.: Инфра-М, 1998. 224 с.
3. Павлов С.П., Перегудов А.Б. Системный анализ и математические методы принятия решений: учеб. Пособие. Саратов: Сарат. гос. техн. унт, 2013, 144 с.
4. Павлов С.П., Перегудов А.Б. Проверка согласованности оценок для сравниваемых объектов. URL: studopedia.org/2-4213.html. Дата обращения 09.11.2017.
5. Мощенко И.Н., Алботов А.М. Социально-экономические аспекты депривационных установок студенчества КЧР. Инженерный вестник Дона, 2015, №1 ч.2. URL: ivdon.ru/magazine/archive/n1p2y2015/2939.
6. Розин М.Д., Мощенко И.Н., Джикаев Д. А. Моделирование политической напряженности методами семантического дифференциала и теории катастроф // «Математический форум. (Итоги науки. Юг России)», 2010, Т. 4, С. 341-353.
7. Мощенко И.Н. Иванова М.И. Сравнительный анализ уровня политической напряженности среди студенчества некоторых регионов Северного Кавказа (по результатам психосемантического феноменологического моделирования). Инженерный вестник Дона, 2011, №3 URL: ivdon.ru/ru/magazine/archive/n3y2011/569.
8. Гайрабеков И.Г., Розин М.Д., Мощенко И.Н. Психосемантический анализ отношения студенчества г. Грозного к политическому порядку. Научная мысль Кавказа. Междисциплинарный журнал, 2011, №2. с.116-126.
9. Розин М.Д., Иванова М.И., Ярошенко А.Н. Анализ эмоциональных состояний студенчества Ростова-на-Дону в конце 2015 гг. Инженерный вестник Дона, 2016, №2 URL: ivdon.ru/ru/magazine/archive/n2y2016/3673.
10. Мощенко И.Н. Иванова М.И. Методика мониторинга восприятия культурного комплекса. Инженерный вестник Дона, 2014, №3 URL: ivdon.ru/ru/magazine/archive/n3y2014/2592.
11. Мощенко И.Н., Бугаян И.Ф., Иванова М.И. Динамика аффективных политических установок студенчества РГСУ (первая половина 2013 г.). Инженерный вестник Дона, 2013, №4. URL: ivdon.ru/magazine/archive/n1y2014/2302/.
12. Мощенко И.Н., Ярошенко А.Н., Иванова М.И. Внутренняя структура эмоционального восприятия политической власти студенчеством ДГТУ. Инженерный вестник Дона, 2014, №2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2580.
13. Елисеев И.Н., Елисеев И.И., Ларина Т.Н., Кривошеев Н.В. Оценка коммуникативных компетенций студентов на основе политомических моделей. Инженерный вестник Дона, 2013, №4. URL: ivdon.ru/magazine/archive/n4y2013/1987/.
14. Saaty T.L. An Eigenvalue Allocation Model for Prioritization and Planning. Energy Management and Policy Center, University of Pennsylvania, 1972. Pp. 28-31.
15. Saaty T.L. and Rogers P.C. Higher Education in the United Sates (19852000): Scenario Construction Using a Hierarchical Framework with Eigenvector Weighting. Socio-Econ. Plan. Sci., V.10, no 6.1976. Pp. 251-263.
16. Саати Т. Принятие решений. Метод анализа иерархий. М. Радио и связь. 1993. С. 279.
17. Ожиганов Э.Н. Моделирование и анализ политических процессов. М.: РУДН. 2009. С.189.
18. EXPERT CHOICE SOLUTIONS - HOW OUR DECISION PROCESS WORKS URL: expertchoice.com/our-decision-making-methodology/.
19. Zadeh L.A. Fuzzy sets. Inf. And Control, no 8. 1965. Pp. 338-353.
20. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 166 с.
21. Мощенко И.Н., Пирогов Е.В.Использование метода анализа иерархии при оценке кадровых рисков в малых некоммерческих проектах. В сборнике: КОГНИТИВНЫЙ АНАЛИЗ СОЦИАЛЬНЫХ ПРОБЛЕМ. Материалы I Всероссийской научной конференции (с международным участием) молодых ученых, аспирантов, студентов, магистрантов. Ростов-на-Дону.2017. С. 72-76.
22. Вольфсон Б. Гибкое управление проектами и продуктами. СПб.: Питер, 2015. 144 с.
References
1. Thurstone L. L. A law of comparative judgement. Psychological review. V. 34, no. 4. 1927. Pp. 273-286.
2. Tolstova Ju.N. Izmerenie v sociologii: Kurs lekcij [Measurement in Sociology: lectures]. M.: Infra-M, 1998. 224 р.
3. Pavlov S.P., Peregudov A.B. Sistemnyy analiz i matematicheskie metody prinyatiya resheniy: ucheb. Posobie [System analysis and mathematical methods of decision-making: studies. Benefit]. Saratov: Sarat. gos. tekhn. un-t, 2013, 144 p.
4. Pavlov S.P., Peregudov A.B. Proverka soglasovannosti otsenok dlya sravnivaemykh ob"ektov [Consistency Check of estimates for compared objects]. URL: studopedia.org/2-4213.html. Date of access 09.11.2017.
5. Moshchenko I.N., Albotov A.M. Inzenernyj vestnik Dona (Rus), 2015, №1. p.2. URL: ivdon.ru/magazine/archive/n1p2y2015/2939.
1КЛ Инженерный вестник Дона. №4 (2017) Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
6. Rozin M.D., Moshchenko I.N., Dzhikaev D.A. «Matematicheskiy forum. (Itogi nauki. Yug Rossii) », 2010, V. 4. pp. 341-353.
7. Moshchenko I.N., Ivanova M.I. Inzenernyj vestnik Dona (Rus), 2011, №3.URL: ivdon.ru/ru/magazine/archive/n3y2011/569.
8. Gayrabekov I.G., Rozin M.D., Moshchenko I.N. Nauchnaya mysl' Kavkaza. Mezhdistsiplinarnyy zhurnal, 2011, №2. pp.116-126.
9. Rozin M.D., Ivanova M.I., Yaroshenko A.N. Inzenernyj vestnik Dona (Rus), 2016, №2. URL: ivdon.ru/ru/magazine/archive/ n2y2016/3673.
10. Moshchenko I.N., Ivanova M.I. Inzenernyj vestnik Dona (Rus), 2014, №3.URL: ivdon.ru/ru/magazine/archive/n3y2014/2592.
11. Moshchenko I.N., Bugayan I.F., Ivanova M.I. Inzenernyj vestnik Dona (Rus), 2014, №1.URL: ivdon.ru/magazine/archive/n1y2014/ 2302/.
12. Moshchenko I.N., Yaroshenko A.N., Ivanova M.I. Inzenernyj vestnik Dona (Rus), 2014, №2.URL: ivdon.ru/ru/magazine/archive/ n2y2014/2580.
13. Елисеев И.Н., Елисеев И.И., Ларина Т.Н., Кривошеев Н.В. Inzenernyj vestnik Dona (Rus), 2013, №4.URL: ivdon.ru/magazine/ archive/n4y2013/1987/.
14. Saaty T.L. An Eigenvalue Allocation Model for Prioritization and Planning. Energy Management and Policy Center, University of Pennsylvania, 1972. Pp. 28-31.
15. Saaty T.L. and Rogers P.C. Higher Education in the United Sates (19852000): Scenario Construction Using a Hierarchical Framework with Eigenvector Weighting. Socio-Econ. Plan. Sci., V.10, no 6.1976. Pp. 251-263.
16. Saati T. Prinyatie resheniy. Metod analiza ierarkhiy [Decision-making. Method of analysis of hierarchies]. M. Radio i svyaz'. 1993. 279 p.
17. Ozhiganov E.N. Modelirovanie i analiz politicheskikh protsessov [Modeling and analysis of political processes]. M.: RUDN. 2009. 189 p.
IH Инженерный вестник Дона. №4 (2017)
Н| ivdon.ru/ru/magazine/arcliive/n4y2017/4725
18. EXPERT CHOICE SOLUTIONS - HOW OUR DECISION PROCESS WORKS URL: expertchoice.com/our-decision-making-methodology/.
19. Zadeh L.A. Fuzzy sets. Inf. And Control, no 8. 1965. Pp. 338-353.
20. Zade L. Ponyatie lingvisticheskoy peremennoy i ego primenenie k prinyatiyu priblizhennykh resheniy [The concept of linguistic variable and its application to approximate decision-making]. M.: Mir, 1976. 166 p.
21. Moshchenko I.N., KOGNITIVNYY ANALIZ SOTsIAL''NYKh PROBLEM Materialy I Vserossiyskoy nauchnoy konferentsii (s mezhdunarodnym uchastiem) molodykh uchenykh, aspirantov, studentov, magistrantov. Rostov-na-Donu.2017. Pp. 72-76.
22. Vol'fson B. Gibkoe upravlenie proektami i produktami [Flexible project and product management]. SPb.: Piter, 2015. 144 p.
