CC BY
282
УДК 519.81:004.023 УДК 65.012.123
Автоматизированная система обработки экспертных оценок при принятии технологических решений
Виктория Викторовна Курицына, к.т.н., доцент, каф. «Технология производства двигателей летательных аппаратов», e-mail: [email protected]
ФГБОУ ВПО «МАТИ - Российский государственный технологический университет имени К.Э. Циолковского» (МАТИ), Москва
Дмитрий Евгеньевич Косов, аспирант, каф. «Технология производства двигателей летательных аппаратов», e-mail: [email protected]
ФГБОУ ВПО «МАТИ - Российский государственный технологический университет имени К.Э. Циолковского» (МАТИ), Москва
Денис Николаевич Курицын, инженер-конструктор, e-mail: [email protected] Научно-исследовательский институт природных и синтетических алмазов и инструмента (ОАО «ВНИИАЛМАЗ»), Москва
Предложена методика принятия технологических решений на основе процедур коллективного экспертного оценивания, в которой учитывается специфика многовариантных и многокритериальных задач производственного управления; представлен программно-информационный комплекс организации, проведения и обработки результатов экспертизы; показано, что данные инструментальные средства позволяют повысить оперативность и эффективность технологического менеджмента промышленных предприятий.
The authors offer methods for taking technological decisions based on the collective expert estimation procedures where specific character of multiversion and multicriterion production control problems are taken into account. The article gives programme and information complex of organizing, carrying out and handling the expert estimation results and shows that these tools allow increasing oper-ability and efficiency of production enterprise technological management.
Ключевые слова: программно-информационный комплекс, экспертная оценка, технологический менеджмент. Keywords: programme and information complex, expert estimation, technological management.
Актуальность технологической экспертизы
На стадиях жизненного цикла сложной наукоемкой продукции (какой является авиакосмическая техника), включающих в себя разработку, производство и эксплуатацию, часто необходимо принимать решения в условиях недостаточной информации, при неизвестных алгоритмах решения проблемы, а также в условиях риска.
Многообразие целей и задач, сложность проблем, стоящих перед технологическим менеджментом производственной организации, а также недостаточная ответственность лиц, принимающих решения, требуют от руководящего состава организации в целом и подразделений в частности постоянного принятия различных управленческих решений в таких областях, как конструкторско-технологическая доводка изделий, внедрение новых технологических процессов в производство, приобретение сторонних технологий, коммерческая реализация собственных технологий, модернизация технологического оснащения, поиск причин брака продукции или нестабильности техно-
логических систем, выбор направления технологических инвестиций, выбор направлений технологического развития предприятия и др.
Технологические решения служат основой для разработки конструкторско-технологических мероприятий и соответствующей документации, направляемых для исполнения и внедрения в производство [1, 2]. Принятие технологических решений в таком наукоемком машиностроении, как авиа- и ракетостроение, имеет ряд особенностей:
• преобладание в предметной области описательных форм представления знаний над аналитическими зависимостями, большая роль эмпирики;
• сложная логика суждений, сложные взаимосвязи, большая размерность задач (количество учитываемых факторов и альтернатив);
• наличие скрытых объективных законов;
• мощные информационные потоки, раскрывающие сущность технологии (характеристики оборудования, инструмента, материалов, режимов и т.п.);
• итеративный характер процесса принятия решения (последовательное приближение к наиболее приемлемому в данных условиях варианту).
Сложные технические и технологические системы обладают огромным количеством как тактико-технических параметров, так и параметров, отражающих совершенство технологий изготовления, экономические аспекты производства и эксплуатации. При этом оценка многих параметров носит субъективный характер (например, в части эргономики). Рассматривая варианты технических решений, часто можно наблюдать противоречивость оценок параметров, проводимых с использованием различных критериев (например: один вариант - «прочный, но тяжелый», другой вариант - «легкий, но менее прочный», какой вариант лучше?). Наиболее распространен подобный конфликт между тактико-техническими и экономическими параметрами, так называемое соотношение «цена-качество», например, при производстве наукоемкой продукции.
Тем не менее, в таких условиях необходимо принимать научно-обоснованные решения, от которых зависят не только тактические моменты, но и стратегия развития предприятий, отрасли. Вопросы безопасности и экологии, связанные с наукоемкими техническими и технологическими системами, приобретают особую актуальность.
Чем сложнее и масштабнее технологическое мероприятие, чем больше вкладывается в него материальных средств, чем шире спектр его возможных последствий, тем менее допустимы так называемые «волюнтаристские» решения, не опирающиеся на научный расчет. Большое значение имеет адекватная оценка перспективности каждого решения на основе совокупности научных методов, в результате которой отбрасываются недопустимые варианты и рекомендуются те, которые представляются наиболее удачными
Использование экспертных методов следует рассматривать как один из возможных подходов к всестороннему изучению сложных проблем, в которых окончательное решение не явно. Экспертный метод оценки эффективности технологических решений в производстве сложной техники рационально используется в тех случаях, когда затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами, как инструментальный, эмпирический или расчетный. Экспертные методы оценки могут использоваться
как при формировании стратегических направлений технологического развития предприятия или подразделения, так и при решении многих частных вопросов, связанных с определением показателей эффективности, рациональности, коммерческой привлекательности интеллектуального технологического продукта.
Экспертная оценка - совокупность научно-обоснованных методов интуитивно-логического анализа, позволяющих по заданным исходным данным формировать общую совокупность технически возможных вариантов решений, производить их сравнительный анализ и отбор, включая выделение оптимального по выбранным критериям варианта.
Экспертные методы используют эвристические возможности личности (эксперта или группы экспертов), позволяя на основе знания и опыта, интуиции специалистов, работающих в определенной области, получить оценку исследуемых технических и технологических объектов и систем. Сущность методов экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественным суждением и формальной обработкой результатов. Итог экспертного метода оценки - получение некоторой интегральной оценки в условных единицах (баллах), которая была бы пропорциональна исследуемому свойству (критерию). Полученное в результате обработки обобщенное мнение экспертов есть заключение о решении.
Экспертный метод оценки уровня качества продукции не должен использоваться, если качество можно оценить другим аналитическими или экспериментальными методами с большей точностью или меньшими затратами.
Научно-техническая экспертиза стала не только предметом научных исследований в области методологии, но и областью практической деятельности, а теория принятия решений - одним из наиболее эффективных интеллектуальных инструментов технологического менеджмента научно-производственного предприятия.
В условиях ограниченного ресурса времени и средств на принятие технологических решений очень эффективно применение автоматизированных систем сопровождения принятия технических решений, основанных на алгоритмах многомерной и многокритериальной оптимизации, математической статистики, обработки экспертных мнений специалистов.
Структура автоматизированной системы технологической экспертизы
Для реализации метода экспертного оценивания технологических решений было разработано программное обеспечение, позволяющее оперативно производить сбор и обработку экспертных мнений в области инновационных технологий сложного формообразования деталей и конструкций. Компонентами такой автоматизированной системы являются следующие подсистемы, отражающие этапы проведения научно-технической экспертизы (рис. 1):
• подсистема постановки задачи;
• подсистема организации экспертизы;
• подсистема экспертного оценивания;
• подсистема генерации отчета.
В рамках этих подсистем реализованы следующие модули (блоки):
1) блок постановки целей, точки зрения, задач, условий и требований экспертизы (техническое задание на экспертизу);
2) блок организации экспертной группы с определением коэффициентов квалификации и значимости мнений экспертов;
3) блок формирования технических и технологических альтернатив, как массив принципиально возможных технологических решений, количество которых превосходит желаемое, а следовательно, возникает необходимость выбора решения;
4) блок формирования массива критериев оценки, как подмножества технико-экономических и других параметров качества технологических процессов, инструментов и оснащения;
5) блок формирования коэффициентов весомости (приоритетов) критериев оценки технологических решений;
6) блок сбора мнений экспертов в локальных оценках по бальной шкале (метод Дельфи);
7) блок определения интегральных показателей привлекательности альтернативных технологических решений с учетом аддитивности или мультиплексирования локальных оценок по критериям с учетом их весомости;
8) блок анализа согласованности (ранговой корреляции) мнений экспертов в принятии решений по коэффициенту конкордации;
9) блок определения качества экспертизы по параметрам точности, достоверности, согласованности и сравнения расчетных показателей с требуемыми;
10) блок генерации экспертного заключения с определением показателей качества научно-
технической экспертизы по параметрам точности, достоверности и согласованности.
Алгоритм функционирования программного комплекса (рис. 2) отражает взаимосвязи отдельных модулей системы и процесс итерационного приближения к качественным (т.е. с достаточными показателями точности, достоверности и согласованности) результатам научно-технической экспертизы.
Рассмотрим подробнее работу этих модулей.
Подсистемы постановки задач и организации технологической экспертизы. Подготовка или модернизация производства неразрывно связана с необходимостью принятия организационно-технологических решений на каждом этапе работ. Кроме того, функционирующие производственные системы также требуют решений текущих задач по управлению и оптимизации технологических систем в целях обеспечения качества выпускаемой продукции. Технологическая экспертиза как один из методов обоснования принятия решений требует начальных условий, когда существует потребность выбора оптимального решения в пространстве альтернатив.
Принятие решений в общем случае сопровождается генерированием альтернативных вариантов реакции на сложившуюся ситуацию и выбором из них оптимального варианта решения. Постановка задачи принятия решения приводит к необходимости рассмотрения ситуации принятия решения, описание которой часто не формализуется, характеризуется нехваткой информации, недостаточной определенностью алгоритмов. Это требует применения правил логического анализа и связано с рассмотрением значительного числа альтернатив и организацией процедуры выбора оптимального варианта.
Выбор - это операция, обязательно входящая в целенаправленные процессы принятия разнообразных решений в технике, технологии и научных исследованиях. Выбор является действием, придающим всей деятельности целенаправленность. Именно выбор реализует подчиненность всей деятельности определенной цели или совокупности целей. (Как гласит правило Фалькланда, или закон Мерфи: «Когда нет необходимости принимать решение, необходимо не принимать его!».) Главное условие необходимости принятия решения - это наличие альтернатив в количестве, превышающем желаемое для дальнейшего функционирования системы. Это может быть единственное предпочтительное решение из нескольких, или же несколь-
Рис. 1. Структура автоматизированной системы технологической экспертизы
Рис. 2. Алгоритм экспертной оценки при коллективной экспертизе
ко предпочтительных решений из большего количества альтернатив, или даже такой случай, когда надо принять все альтернативы, кроме единственного - самого неблагоприятного. Таким образом, с математической точки зрения понятие «выбор» подразумевает ситуацию, когда для осуществления выбора необходимо пространство меньшее, чем то, которое есть на данный момент. Действительно, если предложение меньше, чем спрос, то будут приняты все варианты.
Принятие решения - действие над множеством альтернатив, в результате которого получается подмножество выбранных альтернатив. Сужение множества альтернатив возможно, если имеется способ сравнения альтернатив между собой и определения наиболее предпочтительных.
При таком описании выбора предполагается, что для формулирования технического задания на проведение экспертизы необходимо определить следующие чрезвычайно важные аспекты:
• множество альтернатив, на котором предстоит осуществлять выбор;
• цели, ради достижения которых производится выбор;
• точки зрения на объект оценки;
• требования по качеству экспертизы. Апробация автоматизированной системы обработки экспертных оценок при принятии технологических решений осуществлялась на примере технологической экспертизы производственной целесообразности метода сварки типовых элементов авиакосмических конструкций, проводимой на базе МАТИ и ОАО «ВНИИАЛМАЗ». Схема формирования задания на проведение экспертизы представлена на рис. 3.
При формировании экспертной группы для принятия инновационных решений в целях всестороннего анализа наукоемких объектов и процессов привлекались представители сфер академической науки, производства и образования. Были установлены коэффициенты квалификации и значимости мнений, учитываемые при обобщении (табл. 1).
С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертиза осуществляются группой компетентных людей путем принятия общего решения. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и, как правило, составляет от пяти до двадцати человек.
Для обобщения оценок необходимо собрать ответы всех экспертов и провести средневзвешен-
ную оценку с учетом следующих коэффициентов значимости мнений экспертов:
р7 - коэффициент квалификации 7-го эксперта, отражающий квалификационную степень (ступень) эксперта в той области, в которой производится экспертиза;
к7 - «весовой» коэффициент значимости мнения 7-го эксперта, который, как правило, отражает соответствие направления профессиональной деятельности эксперта тому направлению, в области которого производится экспертиза.
Типовая формула для обобщения мнений экспертов по одному из вопросов имеет вид
п 2
А = -,
п
2 к7Р7
7=1
где А - обобщенная оценка, данная группой экспертов по одному вопросу (объекту, факту, признаку, критерию...); п - число экспертов в группе; а7 - оценка, данная объекту (факту, признаку, критерию.) 7-м экспертом; р7 - коэффициент квалификации -го эксперта, в долях единицы; к - «весовой» коэффициент значимости мнения -го эксперта, в долях единицы.
Выбор оптимального решения подразумевает наличие нескольких принципиально возможных вариантов решения задачи, отличающихся друг от друга по тем или иным показателем. Генерация таких вариантов решений является важным этапом аналитической деятельности, так как разумное увеличение числа и разнообразия вариантов повышает вероятность нахождения среди них более эффективного для конкретной ситуации.
Апробация автоматизированной системы технологической экспертизы проводилась на примере оценки производственной привлекательности метода сварки трением с перемешиванием в качестве технологии соединения компонентов конструкции специзделий авиакосмической техники. Сравнительному анализу подвергались такие альтернативные методы сварки, как электродуговая, электронно-лучевая, лазерная и газовая, характеризующиеся различными технологическими, эксплуатационными и экономическими параметрами. Данные методы обладают как достоинствами, так и недостатками. Поэтому не всегда очевидно, какой из методов оптимален для применения в конкретном технологическом процессе соединения различных конструкций из различных материалов.
Технологические методы процессов сварки для типовых конструкций АКТ /
ЦЕЛЬ ОЦЕНКИ:
Целесообразность применения при изготовлении типовых конструкций АКТ
ТОЧКА ЗРЕНИЯ НА ОБЪЕКТ ОЦЕНКИ:
Реализация проектов нового метода. Предложение на рынке технологий и оборудования авиа- и ракетостроения
ТРЕБОВАНИЯ К ПАРАМЕТРАМ КАЧЕСТВА ЭКСПЕРТИЗЫ: Достаточная - точность,
- достоверность,
- согласованность
Рис. 3. Формирование задания технологической экспертизы
Таблица 1. Состав экспертной группы и коэффициенты значимости мнений экспертов
№ ЭКСПЕРТ Профессиональная деятельность, квалификация «Весовой» коэффициент значимости мнения кг, в баллах Коэффициент квалификации Pг, в баллах
1 ЭКСПЕРТ 1 Зам. ген. директора ОАО «ВНИИ АЛМАЗ», д.т.н., проф., каф. «Технология производства ДЛА», МАТИ 100 100
2 ЭКСПЕРТ 2 Зав. каф. «Технология производства ДЛА», д.т.н., проф., МАТИ 100 100
3 ЭКСПЕРТ 3 Гл. конструктор ОАО «ВНИИ АЛМАЗ», инженер, аспирант, каф. «Технология производства ДЛА», МАТИ 80 70
4 ЭКСПЕРТ 4 Ведущий конструктор ОАО «ВНИИ АЛМАЗ», инженер 70 60
5 ЭКСПЕРТ 5 Ведущий конструктор ОАО «ВНИИ АЛМАЗ», инженер 50 60
6 ЭКСПЕРТ 6 Инженер-конструктор ОАО «ВНИИ АЛМАЗ», магистрант, каф. «Технология производства ДЛА», МАТИ 60 50
Сравнение сварки перемешиванием с другими процессами осуществляется для оценки целесообразности использования данного процесса вместо традиционных технологий. Успешное применение метода зависит от четкого понимания характеристик процесса, поэтому для каждого случая необходимо разрабатывать свои критерии технической и экономической целесообразности внедрения процесса.
При анализе технологических возможностей методов рассматривался физический принцип формирования соединения, область применения, а также эксплуатационные характеристики сварного шва. Кроме того, внимание уделялось выявлению специфических достоинств и недостатков метода.
В процессе организации и проведения экспертиз нередко возникают ситуации, когда должна производиться многокритериальная оценка объектов экспертизы. При этом в практике организации и проведения экспертиз часто используется сле-
дующая экспертная процедура, известная как метод «свертки»: сначала производится оценка объектов экспертизы по каждому из частных критериев (факторов, показателей и т.д.), а затем полученные экспертные оценки, поданные, как правило, в количественной форме, складываются с теми или иными весовыми коэффициентами, характеризующими сравнительную важность частных критериев.
Критерий оценки при выборе решения - это параметр объекта, отражающий тот из наиболее существенных признаков желаемого решения или ту совокупность признаков, по которым отдельное решение можно выделить среди множества альтернативных. Массив критериев оценки - это подмножество полного массива параметров технической (технологической) системы, выбранное в соответствии с целью производимой оценки (некоторые из параметров, принятые к рассмотрению в процедуре оценки объекта и выбора приоритетов).
При формировании массива критериев в подсистеме организации экспертизы учитываются следующие группы критериев:
• функциональные показатели качества объекта, т.е. сварного соединения, отражающие степень совершенства работоспособности соединения (прочность, герметичность, остаточные деформации, структура и т.п.);
• технологические показатели процесса сварки, отражающие степень совершенства технологии выполнения сварного шва (скорость выполнения, возможность автоматизации, энергоемкость, необходимая квалификация исполнителя, универсальность и т.п.);
• экономические и эргономические показатели (трудоемкость, ресурсоемкость, стоимость, удобство выполнения, безопасность и т. п.). Как правило, главное условие для разрабатываемых технологий - обеспечение максимальной экономической эффективности, т.е. производство изделий с минимальными затратами труда и денежных средств.
В зависимости от природы оценок, проставляемых экспертами, критерии могут быть объективными и субъективными. Объективные критерии - критерии, оценка по которым определяется характеристиками самого объекта и не зависит от субъекта оценки (эксперта). Объективны все численные размерные критерии и некоторые численные безразмерные (КПД, надежность...). К субъективным относятся критерии, оценка по которым определяется мнением субъекта оценки (эксперта) или группы экспертов. Субъективны все лингвистические оценки и некоторые численные безразмерные.
Комплект критериев может быть составлен группой экспертов методом мозгового штурма. Большее число критериев повышает объективность и разрешающую способность оценки.
Существует много методов решения задач по расстановке приоритетов среди списка объектов (вариантов решений), основанных на математических процедурах разной сложности (статистика, векторная алгебра, анализ) и неодинаковой степени точности. Возможны сочетания различных процедур на различных этапах оценки. При выборе математической реализации процедуры оценки следует руководствоваться такими характеристиками, как число рассматриваемых вариантов, степень рассеяния, требуемая вероятностная точность выбора, быстродействие принятия решения, разрешающая способность шкалы оценки и др.
Результатом обработки экспертного мнения по оценке важности критериев в автоматизированной системе является диаграмма с определением атрибутов согласованности мнений (рис. 4).
Данная подсистема позволяет повысить объективность мнения и устранить возможные технические (непреднамеренные) ошибки простановки оценок методом парного сравнения, предоставляя соответствующий интерфейс. Для отражения приоритетности сравниваемых попарно объектов возможно применение следующих шкал:
• бинарной шкалы («влияет» / «не влияет», или 1/0), которая имеет не слишком высокую разрешающую способность, но проста в понимании и исполнении;
• троичной шкалы оценивания («-1» / «0» / «+1»), ложащейся на уникальные алгоритмы троичных процессорных систем (используется в определенных случаях);
• трехбальной шкалы с нулем (где «0» - меньший приоритет выбранного объекта относительно сравниваемого, «1» - равенство сравниваемых объектов, «2» - превосходство выбранного объекта над сравниваемым) [2] в качестве тестовых индикаторов весомости (например, для отладки функционирования модели, изображенной на рис. 5);
• международной фундаментальной шкалы предпочтений (9-балльная шкала от 1 до 9), предложенной Т. Л. Саати [3];
Также возможно применение методов стандартизации рангов.
Кроме того, используются и более сложные методы установления приоритетов:
• метод, основанный на распределении порядковых мест, полученных объектами после расстановки приоритетов или оценки объектов (фактов, показателей) - так называемое ранжирование;
• метод на основе определения лидера по результатам вычисления собственного вектора обратно симметричных матриц;
• метод анализа иерархий, при котором осуществляется анализ приоритетов в сетевых структурах связанных критериев, подкрите-риев, субкритериев (аналитические сети);
• метод направленного поиска, который используется при большом количестве и ветвлении возможных вариантов;
Рис. 4. Номенклатура критериев и оценка их значимости
Повышение объективности при выставлении оценок экспертом Абсолют Относите ная льная РАСЧЕТ- ПРИВЕДЕ оценка, оценка, НЫЙ РАСЧЕТ- ННЫЙ и ад Щ [СУММА НЫЙ 100 бальн [поЮО [в доля« по [в долях РАСЧЕ7Н бал.] ед] строкам] ед] О интуит.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
1 Прочность соединения 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 31 0,12 100 100 0,09
2 Герметичность г 0 1 2 2 0 2 2 2 1 1 2 1 1 0 0 1 18 0,07 58 60 0,06
3 Удобство осуществления 3 0 0 1 1 0 1 0 1 0 0 0 0 0 0 0 0 4 0,02 13 20 0,02
4 Скорость осуществления 4 0 0 1 1 0 2 1 0 2 0 0 0 0 0 0 0 7 0,03 23 60 0,06
5 Стоимость процесса 5 0 2 2 2 1 2 2 2 2 1 1 2 2 0 2 0 23 0,09 74 90 0,08
6 Безопасность процесса 6 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 2 0,01 6 10 0,01
7 Трудоемкость 7 0 0 2 1 0 2 1 1 2 0 1 0 0 0 1 0 11 0,04 35 70 0,07
8 Сложность выполнения 8 0 0 1 2 0 2 1 1 2 0 1 1 0 0 1 0 12 0,05 39 60 0,06
9 Электротехнические качества соединения 3 0 1 2 0 0 2 0 0 1 0 0 1 0 0 0 0 7 0,03 23 60 0,06
10 Стабильность процесса 10 0 1 2 2 1 2 2 2 2 1 2 2 2 1 2 2 26 0,10 84 100 0,09
11 Возможность а вто матпзацми 11 0 0 2 2 1 2 1 1 2 0 1 1 0 0 1 0 14 0,05 45 80 0,08
12 Влияние на структуру материала 12 0 1 2 2 0 2 2 1 1 0 1 1 1 0 2 0 16 0,06 52 50 0,05
13 Остаточные деформации в изделии 13 0 1 2 2 0 2 2 2 2 0 2 1 1 0 2 1 20 0,08 65 70 0,07
14 Возможность с варки разнородных материалов 14 0 2 2 2 2 2 2 2 2 1 2 2 2 1 2 2 28 0,11 90 100 0,09
15 Энергоемкость 15 0 2 2 2 0 2 1 1 2 0 1 0 0 0 1 0 14 0,05 45 40 0,04
16 Универсальность 16 0 1 2 2 2 2 2 2 2 0 2 2 1 0 2 1 23 0,09 74 90 0,08
Правел эисперт Курицын Д.Н. СУММА 256 1 Приняты 1060 1
Рис. 5. Парное сравнение в оценке значимости критериев
• метод общего полезного эффекта - используется при не слишком большом числе (10 - 15) возможных вариантов и многокритериальной оценке, полезный эффект выступает в роли целевой функции;
• метод на основе экстремального анализа целевых функций.
Возможны промежуточные и комбинированные решения [4, 5]. Методы отличаются быстродействием, трудоемкостью, разрешающей способ-
ностью и другими показателями алгоритмической эффективности. В реальной экспертной деятельности выбор применения того или иного метода зачастую ограничивается временем принятия решения в нечетких условиях и в условиях нехватки информации. Поэтому иногда приходится жертвовать точностью и достоверностью при достижении очень быстрого получения интегральной оценки и управляющего решения на ее основе. Как известно из теории вероятности, «абсолютно точное и абсолютно достоверное решение может быть получено через бесконечный промежуток времени».
Подсистема экспертного оценивания в задачах многокритериальной оценки. Условие задачи многокритериальной оценки формулируется следующим образом: имеется в наличии некоторое количество вариантов технологических решений (в данном случае методов сварки). Каждое решение имеет различные характеристики по тем или иным параметрам. Некоторые из параметров лучше достигаются в одних решениях, некоторые параметры лучше достигаются в других решениях. Следовательно, нельзя сразу сказать, какое решение предпочтительно. Для достижения поставленных целей требуется выбрать оптимальное (с поставленной точки зрения) решение.
Интегральную оценку можно использовать не только для выбора одного оптимального варианта решения, но и для выбора нескольких «лучших» объектов, а также для сравнительной рейтинговой оценки объектов анализа, для ранжирования вариантов и другого анализа.
В ходе интегральной оценки осуществляются следующие процедуры:
1. Установление пространства альтернатив (Вариант 1, Вариант 2, ... , Вариант т, ... , где т = =1, ..., М, М - число альтернатив).
2. Установление пространства критериев (Критерий 1, Критерий 2, ... , Критерий..., где 7 - номер критерия);
3. Установление абсолютных (д-, в баллах) и
относительных (д', в долях единицы) весовых коэффициентов значимости критериев: = ^ д- .
Весовой коэффициент отражает значимость (важность) критерия для установленной цели экспертизы (точки зрения). Для разных точек зрения на оцениваемый объект (для разных целей экспертизы) значимость критериев может меняться кардинальным образом.
4. Установление для каждого варианта решения экспертной оценки качества, или степени
удовлетворения (выполнения) требований, по каждому критерию (Fjm, в баллах).
5. Расчет показателя качества сравниваемых вариантов по каждому критерию (fjm). Этот показатель характеризует относительную степень удовлетворения Критерия j при решении по Варианту m с учетом значимости (важности) критерия:
f' = F а'
J jm 1 jm4j ■
6. Расчет комплексного (интегрального) показателя качества каждого варианта (Qm) как суммы локальных оценок с учетом весового вклада значимости критериев: Qm fjm .
j
7. Обобщение мнений, полученных от каждого эксперта, с учетом коэффициентов квалификации и значимости членов экспертной группы.
9. Формулирование выводов по интегральной экспертной оценке.
В зависимости от поставленной задачи в качестве вывода можно представить:
• заключение об одном приоритетном варианте
по условию: Q,->max ;
• заключение о группе «наилучших» объектов по рейтинговой оценке;
• заключение об упорядочивании (ранжировании) оцениваемых объектов;
• заключение о необходимости коррекции вариантов с низкими оценками;
• также можно сделать локальные выводы по отдельным критериям.
Подсистема формирования заключения экспертизы. Весьма важным и ответственным этапом экспертной оценки является обработка и анализ результатов опроса экспертов. Принципы современного менеджмента качества, в соответствии с международным стандартом ISO 9001:2000 (п. 7.5.2), позволяют создавать все контролируемые условия, необходимые для обеспечения качества экспертных оценок. Заключение технологической экспертизы формируется с расчетом и указанием качества по параметрам согласованности, точности и достоверности. Обобщению правомерно подвергать только согласованные оценки.
Для методов коллективной экспертной оценки этап обработки и анализа результатов опроса группы экспертов заключается в определении показателя обобщенного мнения и степени согласованности мнений экспертов по каждому вопросу, а также выявления экспертов, высказывающих оригинальные суждения, и групп экспертов, придерживающихся противоположных точек зрения.
Рис. 6. Интегральная оценка альтернативных методов сварки
Рис. 7. Диаграмма сравнения технологических вариантов по интегральной оценке
Степень согласованности мнений экспертов в теории ранговой корреляции выражается через коэффициент конкордации (W). Расчет коэффициента конкордации основан на процедуре ранжирования объектов анализа экспертами и оценке корре-лированности мнений экспертов в определении приоритетов:
W = S/Smax,
где S - сумма квадратов отклонений суммарных рангов, выставленных каждому объекту всеми экспертами (Sm, зависит от экспертов), от средней суммы рангов, приходящихся на каждый объект (Scp, одинакова для всех объектов и зависит от числа объектов и числа экспертов); Smax - максимально возможное значение суммы квадратов отклонений (зависит от числа объектов (М) и числа экспертов (и)):
M 2 1
S = - ^р ) Smax = ~^ ( -М)
m=1
Очевидно, что чем единодушнее мнение экспертов, тем больший будет разброс выставленных сумм каждому объекту рангов относительно их среднего значения. Максимальное значение сумма квадратов отклонений принимает в случае, когда все мнения экспертов совпадают, и при этом среди рангов, данных экспертами, нет одинаковых.
Таким образом, коэффициент согласованности имеет вид
w=——-
n 2(М3 - М)
Коэффициент конкордации, или коэффициент ранговой корреляции, может принимать значения от 0 до 1, причем 0 означает полную несогласованность мнений, а 1 - полное согласование мнений. Статистика показывает, что при W > 0,40 работу с группой экспертов можно продолжать, приняв к руководству их оценку.
Рассогласованность квалифицированных экспертов свидетельствует о высокой неоднозначности предмета анализа или о необходимости корректировки постановки задач.
При достаточной согласованности мнений экспертов на заключительных этапах расчета определяются характеристики точности и достоверности.
В качестве истинного значения оценки при коллективной оценке m экспертов может выступать средневзвешенная усредненная оценка, с учетом значимости и квалификации экспертов. Доверительный интервал для итоговой интегральной
оценки рассчитывается статистическими методами при заданном уровне значимости. В технике и технологии уровень значимости характеризует вероятность ошибки и принимается одно из следующих значений: 0,05; 0,01; 0,005; 0,001, в зависимость от степени ответственности экспертов и рисков от последствий их решения.
Результаты и перспективы развития систем принятия технологических решений. В результате опытной эксплуатации предлагаемого программно-информационного комплекса сопровождения технологической экспертизы были получены объективные оценки производственной целесообразности технологий получения неразъемных соединений в базовых конструкциях авиакосмической техники из легких сплавов. Итогом оценки коммерческой привлекательности применения метода в типовых операциях сварки конструкций с высокой степенью согласованности явилось заключение о превосходстве сварки трением по сравнению с электронно-лучевой и о существенном преимуществе этих методов перед другими альтернативами.
Гибкость, чувствительность и динамика реагирования автоматизированной системы технологической экспертизы под влиянием изменчивости технического задания, целей и точки зрения на объект оценки наиболее ярко проявили себя в случае более конкретной постановки задачи. Так, формулировка задания в виде оценки эффективности применения сварки трением для монтажа электрических коммуникаций из многожильных проводов цветных металлов (алюминиевых, медных) показала значительное возрастание интегрального показателя конструкторско-техноло-гической, экономической и эргономической привлекательности данного метода по сравнению с такими традиционными способами, как пайка, обжатие, клеммирование и сварка электродом.
Экспертный метод для оценки многих показателей качества технической и другой продукции открывает широкие перспективы применения при составлении новых планов, программ, при разработке стратегий развития. Современные информационные технологии обеспечивают возможности оперативного анализа технико-экономических проектов, моделирования процессов, подготовки и представления результатов для последующего принятия решений.
Особую значимость приобретают современные информационные технологии, использующие сети связи и распределенную обработку данных.
Сетевая экспертиза является основой для создания распределенных ситуационных центров, предназначенных для информационной, информационно-аналитической и экспертно-аналитической поддержки руководителя и менеджмента организаций при принятии управленческих решений в сложных и нечетких ситуациях. Ситуационные центры «сжимают время» принятия решений за счет использования методов организации групповых экспертных процедур.
Инфологическая модель данных при реализации информационных процессов обработки экспертных оценок в многовариантных и многокритериальных задачах представляет собой совокупность многомерных матричных структур. Программная реализация автоматизированной системы органично ложится на комбинацию методов реляционного (табличного) представление данных в Excel и информационного представления иерархических сетей в MatLAB.
В качестве достоинств программной реализации разработанной автоматизированной системы технологической экспертизы можно отметить следующее:
• автоматизацию статистических расчетов, возможность использования программы персоналом экономических подразделений и менеджмента;
• оперативное реагирование на смену производственных условий, объектов и субъектов анализа;
• возможность прогноза вариантов развития, а также последствий и рисков принятия тех или иных инновационных технологических решений и проектов;
• модульную структуру с обеспечением гибкости и возможности модификации в целях последующего расширения круга решаемых задач;
• поддержку возможностей визуализации и интерактивного диалога с пользователем.
Таким образом, использование этой системы обеспечивает возможность статистического обоснования бизнес-планов технологического оснащения, переоснащения и модернизации наукоемкого производства сложной продукции аэрокосмической отрасли.
ЛИТЕРАТУРА
1. ISO 9000:2005. «Quality management system -Fundamentals and vocabulary».
2. Патраков Н. Н., Курицына В. В. Основы технологического менеджмента качества прецизионных деталей авиакосмической техники. М.: Издательский центр МАТИ. 2003.
3. Саати Т.Л. Принятие решений при зависимостях и обратных связях: Аналитические сети: Пер. с англ. / Под ред. А.В. Андрейчиков, О.Н. Андрейчикова. Изд. 3-е. М.: Книжный дом ЛИБРОКОМ. 2011.
4. Круглов В.И., Ершов В. И., Чумадин А. С., Курицына В. В. Методология научных исследований в авиа- и ракетостроении: учеб. пособие. М.: Логос. 2011.
5. Егоров И.Н. Разработка методики сравнительной экспертной оценки технологических проектов. М: Изд-во МАИ. 2001.
Поступила 06.07.2012 г.
