CC BY
36
К проблеме использования ранговых алгоритмов для обработки экспертной информации
On the problem of the use of ranking algorithms for expert information
processing
Ерасов Иван Владимирович Аспирант кафедры прикладной информатики Института математики и
информатики,
ГБОУ ВПО Московский государственный педагогический университет,
115191, г. Москва, 2-й Тульский переулок, д. 4 Е-mail: One Sman7@ gmail. com
Erasov Ivan Vladimirovich
Graduate student, Department of Applied Informatics, Institute of Mathematics and
Informatics,
Moscow City Teacher Training University, 115191, Moscow, 2nd Tula lane, 4 Е-mail: One Sman7@ gmail. com
Аннотация. Рассматриваются примеры возникающих осложнений при использовании ранговых алгоритмов для обработки экспертной информации, С целью поиска эффективных коллективных решений предлагается использовать модифицированные алгоритмы на основе метода анализа иерархий.
Разработанные алгоритмы используют в качестве исходной информации традиционные ранжировки объектов и не требуют от экспертов знания аппарата метода анализа иерархий, что позволяет, в частности, организовать сбор и обработку данных массовых социо-экономических опросов.
Abstract. The examples of complications arising when using rank algorithms for processing expertise, to find effective collective decision-making is proposed to use a modified algorithm based on the analytic hierarchy process.
These algorithms are used as input objects and traditional rankings do not require expert knowledge of the device analytic hierarchy process that allows, in particular , to organize data collection and processing massive socio- economic surveys.
Ключевые слова: экспертная информация, ранговый алгоритм, коллективное решение, метод анализа иерархий.
Keywords: expert information, ranking algorithm, collective decision, analytic hierarchy process.
Введение
Классическим способом формирования эффективных управленческих решений социо-экономических и научно-технических проблем на любом уровне является организация совещаний (заседаний), на которых члены коллективного органа, принимающего решения, выступают как эксперты, оценивая различные варианты решений.
Принятие коллективных решений обычно сводится к применению какой-либо системы оценивания альтернатив (или голосования). Широко известны классические методы экспертных оценок, основанные на ранговых оценках [1, 3, 5, 8]. Эти методы содержат серьезный методологический недостаток.
Основные проблемы заключаются в алгоритмах сбора и обработки исходной информации, полученной в результате проведенного экспертного опроса. В свете современных исследований в области прикладной статистики (см., например, [1, 5, 7]) установлено распространенное заблуждение,
состоящее в том, что ответы экспертов стараются рассматривать как баллы в некоторой ранговой (ординальной) шкале (где имеют смысл только отношения «меньше-больше»), которые потом обрабатывают с помощью статистических методов.
В данной работе на основе классических примеров коллективных решений (парные сравнения по методу Кондорсе [2], классические ранговые алгоритмы [5, 8]) иллюстрируются указанные проблемы оценивания, и предлагается модификация ранговых (ординальных) алгоритмов.
С целью разрешения возникающих осложнений и повышения адекватности результатов обработки экспертной информации рассматриваемым проблемам оценивания объектов, для поиска эффективных коллективных решений предлагается использовать алгоритмы на основе метода анализа иерархий (МАИ) [6]. Предлагаемые алгоритмы обработки используют в качестве исходной информации традиционные ранжировки объектов и не требуют от экспертов знания аппарата МАИ, что позволяет, в частности, организовать обработку данных массовых социологических опросов.
Модификация обработки результатов голосования.
Систематическое исследование всех возможных систем голосования основанных на, так называемой, ординалистской теории, отправным положением которой является определение предпочтений как отношений вида «лучше-хуже», провел в 1951 г. К. Эрроу [9].
Определив желательные свойства системы голосования, удовлетворяющие одновременно принципам: рациональная, демократическая и решающая, Эрроу доказал, что системы, базирующиеся на этих аксиомах, обладают недопустимым с точки зрения демократических свобод недостатком: каждая из них является правилом диктатора - т.е., личности, предпочтения которой определяет общественное предпочтение независимо от предпочтений других индивидуумов.
Существует множество систем голосования. Наиболее известные из них (системы Кондорсе, Борда, правило большинства голосующих и т.д.) -кажутся справедливыми и убедительными с точки зрения здравого смысла. Однако они приводят к нарушению рациональности, что было обнаружено (см., например, [2]) до исследований Эрроу.
Рассмотрим на примере ситуацию организации работы экспертов, когда каждый из экспертов дает свою оценку предпочтительности, предлагаемых для обсуждения объектов. Ниже в табл. 1 приводится пример распределения предпочтений в группе из 60 экспертов относительно трех объектов: А, В, С :
Табл. 1. Распределение предпочтений экспертов
Число голосов Предпочтения
23 А ^ В ^ С
17 В ^ С ^ А
2 В ^ А ^ С
10 С ^ А ^ В
8 С ^ В ^ А
Запись А ^ В ^ С означает: А предпочтительнее В, а В предпочтительнее С. Подсчет голосов экспертов в этом примере иллюстрирует ситуацию существования парадокса Кондорсе (см., например, [2]) при анализе экспертных предпочтений, а именно, наличие в этом примере нетранзитивного отношения: А ^ В ^ С ^ А.
Действительно, сравнивая предпочтения в парах кандидатов, получаем: А ^ В, так как имеем 33 голоса против 27; В ^ С, так как имеем 42 голоса против 18; но С ^ А, так как имеем 35 голоса против 25.
Для анализа сложившейся ситуации рассмотрим результаты голосования, представленные в таблице 1 с позиции МАИ. На основе парного сравнения предпочтений, полученных с помощью данных табл. 1, имеем следующую табл. 2 - матрицу парных сравнений объектов:
Табл. 2. Матрица парных сравнений предпочтений объектов на основе данных табл. 1
А В С
А 1 33 / 27 25 / 35
В 27 / 33 1 42 / 18
С 35 / 25 18 / 42 1
Используя основные соотношения метода МАИ [6]:
А= Лтах*№, ИС = (Атах - п) / (п -1) (1) ОС = ИС / СИ,
здесь А - обратно-симметричная матрица (размера п) экспертных оценок результатов парных сравнений элементов (объектов) выбранного уровня рассматриваемой иерархии относительно некоторого вышестоящего элемента (критерия) иерархии; Ж - вектор нормированных весов сравниваемых объектов (собственный вектор матрицы А);
Атах - максимальное собственное число матрицы А;
ИС - индекс согласованности матрицы А;
СИ - случайный индекс для матрицы парных сравнений размера п , берется из таблицы индексов СИ (см., например, [6]) ;
ОС - отношение согласованности для матрицы парных сравнений, т.е., свернутая оценка качества экспертной информации, содержащейся в матрице А. Для случаев ОС < 0.1 - принято считать, что матрица хорошо согласована.
Решение задачи (1) эквивалентно решению следующей задачи (2) нелинейного программирования (см., например, [4]:
А —тах
(A - IE) W = 0 (2)
Ewi = 1 , Wi > 0 , i = 1, n
здесь Е единичная матрица, а wi > 0 , i = 1, n, компоненты W -вектора нормированных весов.
Для рассматриваемого случая матрица А задана таблицей 2. Решение задачи (2) найдем в среде MS Excel (надстройка «Поиск решения»).
Собственное значение lmax = 3,217.
Нормированный вектор весов: W =: ( 0,314 ; 0,408 ; 0,278 ).
Индексы согласованности для найденного значения lmax :
ИС = 0,108 и ОС = 0,187 , т.е., матрица не является хорошо согласованной.
Иными словами, нарушение транзитивности (в данном случае это известный парадокс Кондорсе) можно количественно оценивать с помощью величины ОС для соответствующей матрицы парных сравнений.
Суть предлагаемой модификации ординального алгоритма оценки результатов голосования (экспертного ранжирования) - переход к относительным оценкам результатов голосования (на основе матрицы парных сравнений), т.е., переход от ординальной шкалы (измерения предпочтений экспертов) к шкале отношений (кардинальной шкале) и далее использования аппарата МАИ.
Модификация обработки результатов ранжирования.
Рассмотрим типовой пример коллективной экспертизы для ранжирования 10-ти объектов Х1 - Х10 на основе экспертных оценок. Конкретно, группе экспертов из m=9 специалистов: Э1, ..., Э9, предъявлено к ранговой оценке n=10 объектов.
Возможный вариант матрицы ранговых экспертных оценок приводится в табл. 3 (без потери общности результатов и ради простоты изложения случай связанных рангов в этом примере не обсуждается):
Табл. 3. Матрица исходных ранговых экспертных оценок
\ Э Х \ Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9
Х1 1 1 2 2 1 1 1 2 1
Х2 2 2 3 1 2 3 2 1 3
Х3 3 3 1 3 3 2 3 3 2
Х4 10 8 9 8 9 8 6 8 9
Х5 4 6 4 5 4 4 5 6 4
Х6 9 10 10 9 10 9 10 9 10
Х7 5 4 8 7 6 6 4 7 7
Х8 6 5 6 6 7 7 8 5 5
Х9 7 9 7 10 8 10 7 10 8
Х10 8 7 5 4 5 5 9 4 6
Приведем в табл.4 весовые оценки характеристик, полученные на основе классического метода ранговых алгоритмов (МРА - нормированные веса на основе набранных рангов) [5, 8] и модифицированного алгоритма (описанного выше) на основе метода анализа иерархий (МАИ).
Табл. 4. Весовые оценки объектов Х1-Х10 на основе метода МРА и модификации оценок на основе МАИ
XXI метод\ Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10
МАИ 0,340 0,230 0,185 0,014 0,076 0,009 0,044 0,043 0,013 0,046
МРА 0,193 0,175 0,165 0,037 0,119 0,010 0,089 0,086 0,035 0,091
Приведем далее оценки согласованности исходной экспертной информации (табл. 3) для рассматриваемых алгоритмов. В случае если экспертов не два, а более (например, при выяснении согласованности мнений группы экспертов), в рамках МРА используется дисперсионный коэффициент конкордации (см., например, [3, 5, 8]), в нашем случае используется выражение для несвязных рангов:
12* 5
к = —2—3— (3) т (п3 - п) К )
где
5 = ± - )2
]=1 г=1 2
п - количество анализируемых объектов,
т - количество экспертов,
Rij - ранг_/-го объекта, который присвоен ему г-ым экспертом.
1) в МРА коэффициент конкордации равен: К=0.874, что соответствует высокой степени согласованности оценок с надежностью 0.99;
2) на основе процедур МАИ имеем для отношения согласованности ОС=0.223 , что свидетельствует о плохой согласованности исходной информации (напомним, что хорошей согласованности в МАИ соответствуют значения 0С<0.1) и, следовательно, есть повод для более тщательного анализа исходных экспертных оценок.
В связи с этим проанализируем отдельно экспертную информацию по первым 3-м наиболее весомым показателям Х1 — Х3 (это первые 3 строки табл. 3).
Оказывается, что для этого случая значение коэффициента конкордации К=0.383 , близко к критическому Ккр =0.333 с надежностью 0.95 и меньше Ккр=0.468 с надежностью 0.99 .
То есть, практически нет оснований говорить о согласованности экспертной информации с позиции метода ранговых алгоритмов. В то же
время, с позиции МАИ значение ОС = 0.002 , что говорит о практически идеальной согласованности экспертов относительно Х1 — Х3 (это видно визуально по первым 3 строкам табл.3).
На основе рассмотренного примера можно сделать следующие выводы:
а) Полученные результаты по коэффициенту конкордации для полной исходной матрицы экспертной информации нельзя переносить на частные результаты, полученные для подматриц экспертной информации. Отметим, что коэффициент конкордации отдельно для объектов Х4 - Х10:
К=0.674, что выше критического с надежностью 0.95, но это менее надежно, чем К=0.874 для полной матрицы.
б) Коэффициент согласованности исходной информации (ОС) в рамках процедур МАИ следует рассматривать, как более чувствительный и надежный индикатор качества исходной информации.
Выводы.
1. На примерах показано, что экспертные выводы и оценки, основанные на ординальных системах голосования и ранговых процедурах, имеют ряд недостатков: а) нарушение транзитивности оценок, б) коэффициент конкордации не является адекватной мерой оценки согласованности экспертной информации.
2. Процедуры, основанные на модифицированных алгоритмах оценки экспертной информации в рамках метода анализа иерархий, позволяют выявлять отмеченные трудности и недостатки и повысить адекватность получаемых результатов.
3. В ситуациях плохой согласованности экспертной информации можно предложить следующую последовательность действий: 1) предоставить дополнительную информацию экспертам о проектах; 2) перейти к полному использованию процедур МАИ, в частности, необходимо учитывать голоса экспертов с учетом их весомости. С точки зрения МАИ это соответствует анализу информации в рамках 3-х уровневой иерархии: ЛПР - Эксперты -
Объекты (Альтернативы), где ЛПР (лицо принимающее решение) оценивает весомость экспертов по определенным критериям (квалификация, опыт работы и т.д.), что позволяет в результате получить более взвешенные оценки объектов.
Литература
1. Зотьев Д.Б. К проблеме определения весовых коэффициентов на основании экспертных оценок. // Заводская лаборатория. Диагностика материалов, 2011, №1, с. 75-78.
2. Ларичев О.И. Теория и методы принятия решений. - 3-е изд., доп.
- М.: Логос, 2006, 392 с.
3. Литвак Б.Г. Экспертные технологии в управлении. - М.: ДЕЛО, 2004, 400с.
4. Мадера А.Г. Моделирование и принятие решений в менеджменте.
- М.: Изд. ЛКИ, 2010, 688 с.
5. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006, 671 с.
6. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993, 320 с.
7. Хайтун С.Д. Количественный анализ социальных явлений: проблемы и перспективы. - М.: КомКнига, 2005, 280 с.
8. Хеттманспертер Т. Статистические выводы, основанные на рангах.
- М.: Финансы и статистика, 1987, 334 с.
9. Эрроу К. Коллективный выбор и индивидуальные ценности: Пер. с англ. - М.: Издательский дом ГУ ВШЭ, 2004, 204 с.
References
1. Zotiev D.B. On the problem of determining the weighting factors based on expert assessments. // Factory laboratory. Diagnostics of Materials, 2011, №1, p. 75-78.
2. Larichev O.I. Theory and methods of decision-making. - 3rd ed., ext. -M: Logos, 2006, 392 p.
3. Litvak B.G. Expertise technologies in management. - M: CASE, 2004, 400 p.
4. Madera A.G. Modeling and decision-making in management. - M: Publishing House LCI, 2010, 688 p.
5. Orlov A.I. Applied Statistics. - M: Exam, 2006, 671 p.
6. Saati T. Decision-making. Analytic hierarchy process. - M: Radio and Communications, 1993, 320 p.
7. Haitun S.D. Quantitative analysis of social phenomena: problems and prospects. - M: KomKniga, 2005, 280 p.
8. Hettmansperter T. Statistical inference based on ranks. - M: Finance and Statistics, 1987, 334 p.
9. Arrow K. Collective Choice and Individual Values: transl. from Engl. - M: Publishing House HSE, 2004, 204 p.
