CC BY
43
ISSN 1992-6502 (Print)
2014. T. 18, № 5 (66). С. 153-158 УДК 612.821:615.47:616.12-008
Ъюмк QjrAQnQj
VcstMii UQA7U
ISSN 2225-2789 (Online)
http://journal.ugatu.ac.ru
Технология объективизации экспертной кластеризации
слабоформализуемых объектов
В. В. Гучук
ФГБУН «Институт проблем управления им. В. А. Трапезникова РАН» (ИПУ РАН)
Поступила в редакцию 10 июня 2014 г.
Аннотация. Описывается алгоритмическая реализация разработанной автором интерактивной процедуры, позволяющая на основе анализа измеряемых параметров улучшать качество кластеризации по экспертным оценкам слабоформализуемых многопараметрических объектов. Приводятся эффекты от применения процедуры, основанной на простейших предположениях о свойствах объектов. Описываются пути формализации процедуры, и приводится пример практического использования результатов.
Ключевые слова: экспертные оценки; кластеризация; объективизация; алгоритмизация.
Объективизация экспертных оценок - важная процедура для успешного применения оценок на практике. Этой цели служат стандартные для экспертного оценивания процедуры обработки, например, формирование из оценок отдельных экспертов сбалансированных оценок. Проводимые ранее работы по объективизации экспертных оценок использовались для уточнения выставленных в ранговых шкалах экспертных оценок качества одной группы объектов. Данная работа посвящена обустройству объективизации кластеризации многопараметрических объектов по экспертным оценкам с использованием измеряемых параметров.
ВВОДНЫЕ ЗАМЕЧАНИЯ
В работе описываются особенности алгоритмической реализации интерактивной процедуры, разработанной автором [1] и позволяющей на основе анализа измеряемых параметров улучшать качество кластеризации многопараметрических объектов по экспертным оценкам. Эта процедура имеет важнейшее значение при создании технологии работы со сложными объектами, которые плохо поддаются полной формализации.
Во многих случаях всей совокупности реальных объектов [О; ... Ох], описываемых векторами [ V ... ^ ] измеряемых параметров,
присуще свойство, которое будем назвать полиаттракцией, а именно - неравномерное распре-
Работа поддержана грантами РФФИ 13-07-00229-а и 14-07-00463-а.
деление векторов по подпространству контекстно валидных параметров [Pj.Pi], при котором объекты параметрически как бы притягиваются к одному из нескольких координатных значений X , 7 = 1. Q, возможно классообразующих.
Это свойство является весомым аргументом для проведения кластеризации, хотя императивную кластеризацию можно проводить и при равномерном распределении. При экспертном оценивании полиаттракция проявляется в том, что большинство объектов с достаточной степенью уверенности идентифицируется как относящиеся к одному из типов Т7, 7 = 1...М, объектов. В общем случае М Ф Q . Если при этом высока степень корреляции между отнесением к конкретному типу Т и соответствующим параметрическим попаданием в ареал также конкретного координатного значения X^, то выполняется гипотеза компактности.
ПОДГОТОВИТЕЛЬНЫЕ ЭТАПЫ
Субъективной кластеризации предшествует этап формализации - формирования набора измеряемых параметров р ... РЯ] объектов. В большинстве случаев априори сложно определить, какие параметры наиболее информативны. Еще один мешающий фактор - не все субъективно оцениваемое можно содержательно формализовать. Это подталкивает к поиску как можно большего числа Я измеряемых параметров объектов, чтобы, по возможности, количество переросло в качество.
Решение проблемы валидности параметров (выбора Ь параметров, распределение значений которых наиболее коррелировано с величиной отклонения от классообразующих координатных значений X , 7 = 1...М, М < Q) производится после проведения экспертной кластеризации, которая может осуществляться как с использованием измеряемых параметров, так и без них, в частности, в результате визуального оценивания объектов.
Этап экспертной кластеризации многопараметрических объектов должен заканчиваться наличием обобщенной кластеризации - на основе мнения различных экспертов с учетом квалификации и специализации самих экспертов значимая часть объектов должна быть отнесена к одному из М классов, число и характер которых также формируются в процессе выполнения этого этапа.
Дополнительно экспертами могут быть выделены подмножества "эталонных" или "опорных" объектов, наиболее типичных для каждого из классов. Гипотетически это может повысить эффективность ряда процедур на этапе объективизации, однако на практике не всегда целесообразно требовать от экспертов такого детального оценивания. Часто приходится иметь дело с кластерами без линейного порядка между ними, а также с весьма неоднородной структурой выборки объектов. Хотя решению такого рода задач посвящено большое число исследований [2], в большинстве случаев достоверность (надежность) проведенной экспертной кластеризации, в силу сочетания объективных причин и субъективизма оценок, является недостаточной для практического использования.
Это обстоятельство является одним из обоснований проведения процедуры повышения достоверности экспертного оценивания, в данном случае процедуры объективизации экспертной кластеризации.
После формализации и субъективной кластеризации осуществляется аналитическая инвентаризация полученных данных. В простейшем случае в два подэтапа производится ранжирование каждого из N векторов по степени принадлежности к своему 7-му классу, присвоенному объекту экспертными оценками. На первом подэтапе сначала из генеральной последовательности - массива всех векторов каждого класса случайным образом выделяется часть (например, 50 %) векторов, составляющих обучающую выборку (ОВ). Далее, на основе ОВ осуществляется поиск Ь наиболее эффективных параметров для идентификации. Производится идентификация остальных векторов, попавших
в тестовую выборку (ТВ). Затем последовательность описанных процедур, начиная с формирования ОВ, циклически повторяется. Число циклов зависит от объема выборки. На каждом цикле, для каждого вектора V подсчитывается
текущее (суммарное) число Б„ попаданий в ТВ и, если идентификационная оценка Е класса вектора совпадает с экспертной оценкой ЕЭ класса, увеличивается текущее (суммарное) число правильных идентификаций:
(ЕУп=ЕэУп^8п^=8п^ 1).
В итоге вычисляется предварительный кластерный коэффициент принадлежности к своему 7-му классу Кп,7 = БпЛ 1Бп. Вычисляются также степени принадлежности к чужим классам
К"п,1 * •
Второй подэтап аналогичен первому с той разницей, что ОВ формируется из векторов, имеющих высокие предварительные кластерные коэффициенты. По результатам второго подэта-па вычисляются кластерные коэффициенты для всего массива векторов, и вектора ранжируются согласно этим коэффициентам.
Необходимость двух подэтапов обусловлена использованием в ОВ на первом подэтапе векторов, возможно классифицированных ошибочно. Такая методология напоминает идею бус-тинга [3]. Разность между упорядоченными последовательностями первого и повторного ранжирования зависит от качества экспертной кластеризации и может составлять 10% и более. Как показала практика [4], проведение дополнительного ранжирования после повторного уже не дает заметного эффекта.
Такого рода подход к корректировке состава используется в задачах с перекрывающимися распределениями классов, когда из ОВ удаляются те ложные представители, на которых ошибается классификатор. В нашем случае в силу влияния человеческого фактора состав этих ложных представителей расширяется за счет тривиальных ошибок экспертов. Что касается процедуры поиска наиболее эффективных параметров [Pi.Pi] для идентификации, производимой каждый раз, когда формируется ОВ, то выполнение этой процедуры практически является выполнением задачи переобучения [5] с минимальной степенью формализации моделей. В нашем случае отсутствуют явные предположения о вероятностных распределениях, используемых в большинстве работ по кластеризации, распознаванию и т. п.
В классической задаче переобучения после обучения на ОВ происходит переобучение на тестовой выборке. В описываемой процедуре это и происходит в процессе итераций алгоритма ранжирования.
ПРОЦЕДУРА КОРРЕКТИРОВКИ
Далее осуществляется непосредственно объективизация, заключающаяся в применении к экспертным оценкам итеративной процедуры корректировки результатов оценивания, в том числе переклассификация, основанная на системе:
«Э/, Кп] >К")& (V/-, < К,,))
<
(Э»,(Ряе {Г},) &(£„,<£.))->
((Э/,^ >0&
(3\],К^Ж**)^(\/т,Уп£{У}т).
Здесь: число векторов, п - порядковый номер вектора V, {V }7 - множество векторов
7-го класса (класс вектора определяется согласно экспертной оценке или предыдущей переклассификации), Кп 7 - коэффициент принадлежности п-го вектора к 7-му классу, К**, К*,
К** *
, К - минимальные и максимальные пороговые значения для коэффициентов принадлежности. Область значений ниже К* (К**) соответствует отсутствию выраженных признаков конкретного класса, а область значений выше К* (К ) - явному наличию признаков класса. Значения с одним "звездным" индексом используются при анализе степени принадлежности к своему классу (на данный момент), в противном случае используется другое пороговое значение.
Вообще же, при принятии решения о переклассификации участвует эксперт, в чем и проявляется интерактивность процедуры объективизации. Это обосновано неабсолютной валид-ностью используемых параметров, сложностью выбора минимальных и максимальных пороговых значений, а также изначально субъективным формированием числа классов и самих
классов. Как показывает практика, в результате полностью автоматической объективизации может, например, исчезнуть класс, обладающий важными прикладными свойствами.
В результате объективизации отсеиваются заведомо ошибочные решения экспертов, повышается достоверность результатов кластеризации и формируются более адекватные формализованные методы идентификации экспериментальных данных. Помимо функции "оздоровления" классообразующих множеств, процедура объективизации обладает также и другими полезными свойствами.
Прежде всего, она позволяет оценить состоятельность кластеризации для каждого из классов, а также дополнительно аттестует измеримые параметры на профпригодность к идентификации векторов. Последнее свойство является крайне важным, поскольку процедура формирования и подбора измеримых параметров по определению является неформализованной, эвристической и априори вообще не гарантирует саму возможность решения задачи идентификации.
После проведения нескольких итераций по объективизации некоторые множества могут разделиться на два или более подмножеств, другие, напротив, сохранят свой ареал и могут даже увеличить свою размерность. Первый вариант наводит на мысли об известной в несколько другой сфере многотемной (multi-label) классификации, в которой классифицируемый объект может принадлежать нескольким классам одновременно, и сами классы являются не взаимоисключающими (возможно, даже вложенными). Задачи такого типа, например, характерны для анализа изображений.
Второй вариант потенциально соответствует случаю выполнения гипотезы компактности, и в этом случае степень идентифицируемости (доля верно идентифицированных объектов на экзамене) состоятельных множеств в результате объективизации может увеличиться на 20-30 %. Возможна и ситуация с отказом от наличия в перечне множеств некоторого несостоятельного множества (случай вырождения множества).
Применение описанной процедуры объективизации может не только скорректировать состав множества, но и расширить его. Вообще же, как показывает практика, состав корректируется, но мощность множества может меняться незначительно.
Еще одной важной характеристикой при объективизации является наличие и минимизация ошибок идентификации второго рода [5]. Либо эксперт относит объект не к своему клас-
су, либо на очередном этапе объективизации алгоритм причисляет объект к одному классу, а дальнейший параметрический анализ идентифицирует его как принадлежащий к другому классу. Назовем коэффициентом проникновения Кп7 кластерный коэффициент принадлежности к 7-му классу «-го вектора ("чужого" вектора), предварительно отнесенного экспертом или алгоритмом к другим классам.
Помимо представительности выборки, ва-лидности измеряемых параметров и т. п., на величину погрешности идентификации оказывает влияние и выбор алгоритма идентификации (распознавания). Как показала практика работы с экспериментальными данными с использованием несколько алгоритмов, алгоритм метода потенциальных функций (МПФ) оказался наиболее неприхотливым относительно выбора параметров, используемых для обучения на ОВ и идентификации на ТВ. Он же показал минимальные ошибки идентификации первого рода. Лишь по минимизации ошибок второго рода алгоритм МПФ не имеет преимуществ перед другими использовавшимися алгоритмами. Еще одна его особенность - необходимость большого числа вычислений, что не является существенным недостатком, учитывая быстродействие современных компьютеров.
Достаточно общей для разных алгоритмов оказалась оптимальная длина кортежа параметров, используемых для идентификации.
Результаты применения объективизации проявляются, в первую очередь, в повышении степени идентифицируемости (улучшение может достигать 1 0-20 %). При подсчете степени идентифицируемости суммировались значения ошибок идентификации первого и второго рода. В отдельных случаях может достигаться и больший эффект, причем выбор алгоритма идентификации (алгоритма распознавания) не имеет принципиального значения.
В целом определяющее влияние на эффективность процедуры объективизации оказывают несколько факторов:
Факторы внутреннего (формального) характера:
1.1. Представительность выборки векторов.
1.2. Валидность измеряемых параметров.
Факторы внешнего (привносимого) плана:
2.1. Потенциальная возможность экспертного оценивания.
2.2. Качество экспертных оценок.
Сложность формализации процедуры объективизации экспертной кластеризации опреде-
ляется, как правило, отсутствием математических моделей реальных объектов.
Для фаззификации (интерпретации содержания процедуры объективизации в терминах теории нечетких множеств [6]) {V }7 (множество векторов 7-го класса) определим как нечеткое множество F7, а именно - как совокупность пар F7={(v„M7(v))|ve U}, где v - вектор, принадлежащий универсуму U, т.е. множеству всех векторов, ^7(v): U ^ [0,1] - функция (степень) принадлежности вектора v к нечеткому множеству F7 (выше определенная как кластерный коэффициент принадлежности вектора к классу). В качестве порогового значения степени принадлежности обычно используют значение т. н. точки перехода нечеткого множества, а именно 0,5, которое можно использовать в качестве начального ориентира. Носителем нечеткого множества F7 будет подмножество Fi векторов, обладающих явными признаками класса, т. е. степень принадлежности ц7(у) которых весьма высока.
Поскольку в нашем случае объективизация априори производится для достаточно представительных выборок, то высота нечеткого множества sup ц7 (v) = 1, т. е. нечеткое множество F7
нормально. По этой же причине нечеткое множество F7 не унимодально, т.е. степень принадлежности (коэффициент принадлежности вектора к классу) достигает единичного значения как минимум для нескольких векторов. Фильтрация векторов с использованием максимальных пороговых значений K = a (K = а) для коэффициентов принадлежности порождает а-срез нечеткого множества F7, т. е. подмножество, называемое четким множеством А7,а и определяемое характеристической функцией хА7,а:
((ц,. <а ) ^(хА,,а=0))&(( ц, > а ) ^САи = 1)).
Для а-срезов нечеткого множества F7 справедлива взаимная импликация ai<a2 ^А7,а1 з з А7,а2, отражающая тот факт, что фильтрация векторов с использованием большего порогового значения порождает множества меньшей мощности, чем фильтрация с меньшим пороговым значением.
Что касается такого важного понятия, как выпуклость множества, то к реальным экспериментальным данным в большинстве случаев оно не применимо. Следует сказать, что гипотетически в оценочном плане вышеупомянутое нечеткое множество F7 может быть выпуклым из-за простоты построения границ множеств в пространстве измеряемых параметров. В дальней-
шем нарушить условия выпуклости может переклассификация векторов, отнесенных экспертным оцениванием к Р7 и лежащих внутри области Р7, но в результате объективизации включенных в другое множество.
Для уже объективизированной кластеризации можно применять и более развернутый инструментарий теории нечетких множеств, в частности, основанный на максиминных, алгебраических и ограниченных операциях, и использующий /-норму и /-конорму. Так, если для практических целей объединяются два нечетких множества, получается объединение множеств Р7 V Р - наименьшее нечеткое множество Р7 ^ содержащее одновременно Р7 и Р], для которого Ц7 ^ у(^) = шах(ц7(у), т. е. в качестве ориен-
тира берется наибольшая по величине степень принадлежности (кластерный коэффициент принадлежности) к первому (например, 7-му) или второму (соответственно, ]-му) классу. Для уточнения ¡л7 ^необходимо снова произвести в два подэтапа ранжирование векторов объединенного множества Р7 ^]. Если необходимо вычленить подмножество векторов, имеющих ненулевые степени принадлежности к двум нечетким множествам, определяется пересечение множеств Р7 а р - наибольшее нечеткое множество Р7 осодержащееся одновременно в Р7 и Р для которого Ц7 = ш1и(ц7(у), ц7(у)), т. е. в качестве степени принадлежности берется наименьшая по величине степень принадлежности (кластерный коэффициент принадлежности) к 7-му или ]-му классу.
Отметим, что алгоритм переклассификации использует более сложные конструкции, в частности, применяется логический анализ абсолютных значений степеней принадлежности и соотношения значений степеней принадлежности к разным классам одного и того же вектора. В результате такого логического анализа можно, в частности, произвести корректировку вышеупомянутого пересечения множеств Р7 а Р].
При фаззификации еще не объективизированной экспертной кластеризации более релевантными являются нечеткие (размытые) оценки степени принадлежности. Это вызвано тем, что на этом этапе невозможно получить достаточно точные и окончательные оценки.
В процессе объективизации состав множества Р7, а также подмножества ^ может претерпеть существенные изменения, влияющие на параметрическое формирование степеней принадлежности. Дополнительно можно ввести понятие степени размытости оценок и понятие уверенности (надежности) этих оценок [4], или
использовать вероятностные характеристики для степени принадлежности.
Что касается нечеткой классификации, то это понятие в общепринятом понимании сложно применить к параметрической классификации, выполняемой с использованием алгоритмов распознавания (алгоритмов классификации). В определенном смысле задачу нечеткой классификации решает эксперт при субъективной оценке степени сходства вектора V с формируемым им же эталоном класса Р7, т. е. используя попарные сравнения и заранее не определенное число классов.
Задача нечеткого упорядочивания при данном подходе вообще не ставится - используется ранжирование векторов по вычисляемым кластерным коэффициентам принадлежности. Показатель размытости нечеткого множества, понимаемый как мера внутренней неопределенности, можно использовать и для характеристики компактности класса в параметрическом пространстве, и для оценки идентифицируемости векторов 7-го класса в общей массе векторов.
Вообще, аппарат теории нечетких множеств предназначен прежде всего для описания и анализа статической ситуации, когда имеется некоторое зафиксированное на определенный момент состояние анализируемых множеств и оценочного конгломерата.
Для полноценной формализации процедуры объективизации необходимо изначально вводить динамические конструкции. В качестве первого шага можно использовать введение такого понятия, как неустоявшееся множество (динамическое множество), которое в процессе своего развития меняет состав, мощность и т. п. Дополнительно к известной атрибутике здесь добавляется диндекс (динамический индекс) множества, для простоты имеющий дискретный характер, и отражающий шаг или итерацию в динамическом процессе корректировки множества, в данном случае итерацию в процедуре объективизации кластеризации многопараметрических объектов по экспертным оценкам.
При фиксации значения диндекса, т. е. при рассмотрении зафиксированного состояния на определенном этапе объективизации, ситуация входит в общепринятое русло, для которого имеется развитый матаппарат.
Известны прецеденты использования дин-декса, например в методах генетической оптимизации, развивающих идеи Дж. Холланда [6]. Его присутствие прослеживается также в концепции итеративных множеств [7], являющихся частным случаем неустоявшихся (динамических) множеств. Для описания и анализа проце-
дуры объективизации в данном случае необходимо вводить такие понятия, как обусловленность множества, вырождение множества, стабильность присутствия элементов на множестве и т. п. Возможно также использовать такую аналитику, как сходимость итеративных процедур, например стремление мощности множества в процессе его корректировки к определенному значению, устойчивость множества относительно номенклатуры элементов и т. д.
Естественным образом к неустоявшимся (динамическим) множествам, в контексте формализации процедуры объективизации, применима определенная часть инструментария теории множеств, а также аппарат нечетких множеств.
ЗАКЛЮЧЕНИЕ
Работы по объективизации экспертных оценок проводились и ранее [8, 9]. Процедуры разрабатывались для уточнения выставленных в ранговых шкалах экспертных оценок качества одной группы объектов и их можно использовать внутри процедуры объективизации экспертной кластеризации.
Следует отметить, что объективизации экспертных оценок служат и стандартные, для экспертного оценивания, процедуры обработки оценок [2]. Используется, например, привлечение достаточно большой группы экспертов, проведение отбора наиболее компетентных экспертов, формирование из оценок отдельных экспертов сбалансированных оценок и т. п.
Разработанная процедура объективизации была использована при создании алгоритмов медицинской диагностики по пульсовым сигналам лучевой артерии на основе субъективной кластеризации формы пульсовых сигналов [10].
СПИСОК ЛИТЕРАТУРЫ
1. Гучук В. В. Алгоритмизация корректировки экспертной кластеризации многопараметрических объектов // Управление в технических, эргатических, организационных и сетевых системах: конф. (Спб., 9-11 окт. 2012): материалы конф. Спб.: ЦНИИ "Электроприбор", 2012. С. 1156-1159. [ V. V. Guchuk, "Algorithmization of correction of an expert clustering of multiple parameter objects," (in Russian), in Proc. Workshop on Management in Technical, Ergatic, Organizational and Network Systems, 2012, pp. 1156-11598. ]
2. Литвак Б. Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с. [ B. G. Litvak, Expert estimates and decision-making, (in Russian). Moscow: Patent, 1996. ]
3. Friedman J. Greedy function approximation: a gradient boosting machine // Annals of Statistics. 2001. Vol. 29, no. 5. P. 1189-1232. [ J. Friedman, "Greedy function approximation: a gradient boosting machine," Annals of Statistics, vol. 29, no. 5, pp. 1189-1232, 2001. ]
4. Гучук В. В. Технологические аспекты реализации процедуры объективизации экспертной кластеризации многопараметрических объектов // Управление развитием крупномасштабных систем: конф. (М., 3-5 окт. 2011): ма-
териалы конф. М.: ИПУ РАН, 2011. С. 236-239. [ V. V. Guchuk, "Algorithmization of correction of an expert clustering of multiple parameter objects," (in Russian), in Proc. Workshop on Management of Development of Large-Scale Systems, Moscow, Russia, 2011, pp. 236-239. ]
5. Теодоридис С., Коутрумбас К. Распознавание образов. М.: Интеллект, 2009. 352 с. [ S. Teodoridis, K. Koutrumbas, Pattern recognition, (in Russian). Moscow: Intellekt, 2009. ]
6. Гэри В., Джонсон Д. Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982. 419 с. [ V. Gery, D. Jonson, Computers and hardly solved tasks, (in Russian). Moscow: Mir, 1982. ]
7. Maddy P. Naturalism in mathematics. California, Irvine, USA: Clarendon Press, 1997. 264 p. [ P. Maddy, Naturalism in mathematics. California, Irvine, USA: Clarendon Press, 1997. ]
8. Strijov V., Krymova E., Weber G. W. Evidence optimization for consequently generated models // Mathematical and Computer Modelling. 2013. Vol. 57, no. 1-2. P. 50-56. [ V. Strijov, E. Krymova., G. W. Weber,."Evidence optimization for consequently generated models," Mathematical and Computer Modelling, vol. 57, no. 1-2, pp. 50-56, 2013. ]
9. Гущин А. В. Алгоритм объективизации оценок эксперта с помощью измеряемых данных // 51-я науч. конф. МФТИ: конф. (М., 28-30 ноября 2009): тр. конф. М.: МФТИ, 2009. С. 138. [ A. V. Guschin, "Algorithm of an objektivization of estimates of the expert by means of measured data," (in Russian), in Proc. 12th MFTI scientific conference, Moscow, Russia, 2009, p. 138. ]
10. Гучук В. В., Десова А. А., Дорофеюк А. А. Процедура объективизации экспертной классификации характеристик биосигналов для медико-диагностических комплексов // Датчики и системы. 2014. № 2. С. 2-7. [ V. V. Guchuk, A.A. Desova, A.A. Dorofeyuk, "Procedure of an objektivization of expert classification of characteristics of biosignals for medico-diagnostic complexes," Sensors and systems, no. 2, pp. 2-7, 2014. ]
ОБ АВТОРЕ
ГУЧУК Владимир Всеволодович, ст. науч. сотр. Дипл. инж. (Львовск. политехн. ин-т, 1964). Канд. техн. наук (ИПУ РАН, 1980). Иссл. в обл. интел. систем и сит. управления.
METADATA
Title: Technology of an objektivization of an expert clustering
of poorly formalizable objects. Author: V. V. Guchuk
Affiliation: Institute of Control Sciences V. A. Trapeznikov
Academy of Sciences, Russia. Email: [email protected]. Language: Russian.
Source: Vestnik UGATU (scientific journal of Ufa State Aviation Technical University), vol. 18, no. 5 (66), pp. 153-158, 2014. ISSN 2225-2789 (Online), ISSN 1992-6502 (Print). Abstract: Algorithmic realization of the interactive procedure developed by the author is described. Procedure allows to improve quality of a clustering by expert estimates. It is applied to poorly formalizable multiple parameter objects. Uses measured parameters of objects. Effects from application of the procedure based on the elementary assumptions of properties of objects are given. Ways of formalization of procedure are described. The example of practical use of results of work is given. Key words: expert estimates; clustering; objektivization; algorithmization.
About author:
GUCHUK, Vladimir Vsevolodovich, Senior researcher, Cand. of Tech. Sci.
