CC BY
173
истемныи анализ
УДК 004.83;005;303.732;519.7;519.81
НЕКОТОРЫЕ КРИТЕРИИ Д0СТ00ЕРН0СТИ МОДЕЛЕЙ НА 0СН00Е К0ГНИТИ0НЫХ КАРТ
Н.А. Абрамова, С.В. Коврига
Отмечено, что формализация экспертных знаний и представлений о слабоструктурированных проблемных ситуациях является неотъемлемой частью решения задач управления с применением моделей на основе когнитивных карт. Для указанных моделей предложен и обоснован ряд эвристических критериев достоверности формализации, применимых для раннего обнаружения прямых семантических ошибок и рисков формализации (до обработки формализованных знаний). Выявленные критерии направлены на снижение рисков из-за человеческого фактора.
Ключевые слова: слабоструктурированная проблемная ситуация, когнитивная карта, формализация, достоверность формализации, критерий достоверности, человеческий фактор, фактор риска.
ВВЕДЕНИЕ
При решении самых разнообразных управленческих задач все шире применяется формализация знаний людей о слабоструктурированной проблемной ситуации посредством построения моделей на основе когнитивных карт (см., например, обзоры [1, 2]).
В области принятия решений понятие когнитивной карты используется в разных смыслах, отличающихся по содержательной и формальной интерпретации, уровню формализации и возможностям решения практических задач управления на основе формальных методов. Предмет настоящей статьи принадлежит к научному направлению, в котором термин «когнитивная карта» относится к семейству моделей представления знаний экспертов в виде структуры каузальных (или, причинно-следственных) влияний в моделируемых ситуациях. (Для отличия такие когнитивные карты иногда называют каузальными).
Формально, обязательное ядро всех моделей семейства — ориентированный граф, с вершинами которого связаны факторы (или концепты), и дуги, интерпретируемые как прямые причинно-следственные влияния (или причинно-следственные связи) между факторами. Обычно обязательное ядро дополняется некоторыми параметрами, такими как знак влияния («+» или «—») или вес (интенсивность) влияния, и карте придаются те или
иные интерпретации, как содержательные, так и математические. Различные интерпретации вершин, дуг и весов на дугах, как и различные функции, определяющие влияния между факторами, приводят к различным модификациям моделей на основе когнитивных карт и формального аппарата для их анализа.
При решении прикладных задач управления для слабоструктурированных ситуаций применение любых формальных моделей и методов, включая модели на основе когнитивных карт, является лишь частью, этапом решения, наряду с не менее важным этапом формализации представлений о ситуации. (В работе [3] методы решения таких задач названы субъектно-формальными.) В силу неизбежного и существенного участия человека в решении таких задач (по крайней мере, для формализации первичных представлений) субъектноформальные методы в принципе не обеспечивают
достоверности1 получаемых решений, что обусловливает актуальность исследования проблемы рисков, связанных с формализацией первичных экспертных знаний. Указанная проблема поставлена лишь недавно [3] и мало изучена. Суть ее проявляется в том, что возникают разного рода риски,
1 Достоверность результатов применения метода здесь понимается в широком интуитивном смысле как возможность полагаться на эти результаты при решении конкретной практической задачи. Можно говорить и о достоверности метода как о его возможности давать достоверные результаты [3].
обусловленные человеческими факторами, в ходе создания и применения методов и соответствующих информационных технологий.
Типично, что разработчиками субъектно-формальных методов эта проблема либо не замечается, либо недооценивается. Однако на сегодня накоплено довольно много теоретических и экспериментальных данных [3, 4], свидетельствующих о практической значимости проблемы. В особенности это касается сложных и слабоструктурированных ситуаций, которые являются основной областью приложения моделей на основе когнитивных карт.
Значимой составляющей проблемы рисков из-за человеческого фактора при построении и применении формализованных моделей слабоструктурированных ситуаций представляется проблема критериев достоверности таких моделей. Она включает в себя методологию выявления критериев, вопросы их теоретического обоснования, разработку способов их применения для повышения качества формализации, эмпирической проверки таких способов, их внедрения в информационные технологии [3].
В данной статье эта проблема рассматривается применительно к формализации экспертных знаний о слабоструктурированных ситуациях на основе когнитивных карт. Представлен и обоснован ряд эвристических критериев достоверности моделей на основе когнитивных карт. (Часть из них вкратце рассмотрена в работе [5]). Критерии применимы на самых ранних этапах формализации, результатом которых служит когнитивная карта без оценок значений параметров. Они направлены на распознавание рискованных локальных фрагментов строящейся формализованной модели и прямых семантических ошибок формализации, а также — на ранний контроль над применимостью выбранного типа общей модели на основе когнитивных карт путем уточнения априорных оценок (предположений) о ее применимости к конкретной ситуации в ходе формализации.
Критерии формировались, в основном, применительно к типам моделей на основе когнитивных карт, в которых динамика значений факторов математически моделируется в терминах линейной динамической модели или ее модификаций [6—8]. Однако степень общности предложенных критериев позволяет рассчитывать на применимость к другим типам моделей.
1. О ПОДХОДАХ К ВЫЯВЛЕНИЮ КРИТЕРИЕВ ДОСТОВЕРНОСТИ МОДЕЛЕЙ
На сегодня система критериев достоверности моделей на основе когнитивных карт не разработана и не сформирована методология их выявле-
ния. Однако авторами предложены некоторые модели и гипотезы относительно источников риска для достоверности формализованных моделей слабоструктурированных ситуаций, обусловленных человеческим фактором. Они основаны на различных теоретических и методологических соображениях и нашли большее или меньшее подтверждение при практическом построении и применении моделей на основе когнитивных карт.
Основной является гипотеза об отрицательном искажающем эффекте при переходе знаний «об одном и том же» от одних носителей знаний к другим и/или смене схем (форм) представления знаний. Ранее [9] был выдвинут принцип искажающего эффекта в таких преобразованиях знаний с допущением, что эффект может быть незначимым и значимым для решаемых задач, положительным и отрицательным; предложен критерий недопустимого искажающего эффекта при формализации знаний. Искажения могут иметь место при преобразованиях (нередко многоэтапных) исходных экспертных знаний в формализованную модель ситуации: меняются схемы представления знаний (от естественных внутренних к регламентированным), модифицируется понятийная структура знаний. Смысл гипотезы, в значительной мере опирающейся на анализ практики и некоторые эксперименты, состоит в том, что отрицательный искажающий эффект является практически значимым источником риска для достоверности результатов применения формальных методов к слабоструктурированным ситуациям, который обусловлен человеческим фактором.
Формализованная модель ситуации, предназначенная для обработки формальными методами (включая описание проблемной ситуации и целей управления и/или требований к его качеству), по существу представляет два смысла. С одной стороны, она имеет определенный математический смысл, на основе которого ведется формальная обработка и который должен быть понятен теоретикам и разработчикам соответствующих информационных технологий; носителем этого смысла служит «формальный эксперт» — компьютер. С другой стороны, модель отражает содержательный смысл, носителями которого являются специалисты проблемной области . Это свойство «двусмысленности» применительно к факторам когнитивных карт мы назвали двуликостью [3, 10].
В данном контексте мы принимаем, что специалисты проблемной области понимают модель одинаково, не касаясь вопросов согласования понимания разными экспертами проблемной области. В действительности, вопросы согласования должны решаться посредством своей группы критериев, которые не рассматриваются в рамках данной статьи.
В свете гипотезы об отрицательном искажающем эффекте, подкрепленной как теоретическими соображениями, так и опытом участия в практическом применении моделей на основе когнитивных карт, на первый план при исследовании рисков выходит общий критерий адекватности перевода содержательных знаний о проблемной ситуации на язык математической модели и обратно. При этом обратный перевод подразумевает понимание на содержательном уровне тех математических свойств, которые приписываются формализованным знаниям и, тем самым, моделируемой реальности. Понимание этих свойств создает основу для проверки применимости выбранного типа модели для формализации.
Отметим, что гипотеза об искажающем эффекте, в ее общем виде, не привязанном к моделям на основе когнитивных карт, не определяет вида рисков и механизмов их проявления. Это является предметом исследования и уточнения применительно к разным типам моделей для формализации знаний о проблемных ситуациях.
Ранее [3] были выделены два рода рисков из-за человеческого фактора, действующих в жизненном цикле субъектно-формального метода.
К факторам риска первого рода, или факторам прямого действия, относятся факторы, психологически влияющие на достоверность методов и технологий поддержки интеллектуальной деятельности в ходе их применения субъектом (экспертом, аналитиком и др.). Их действие связано с субъектом, чьи знания формализуются для последующего применения формальных методов. Факторы риска второго рода, или факторы косвенного действия закладываются и начинают действовать в ходе создания и обоснования методов и соответствующих информационных технологий. Влияние факторов косвенного действия связывается с разработчиками и «носителями» этих методов и технологий (посредниками).
Факторы риска нередко находят свое выражение в виде разного рода допущений, явных и неявных, которые делают разработчики формальных моделей и методов. Эти допущения могут относиться:
• ситуациям реальности и их ожидаемым свойствам;
• людям, применяющим субъектно-формальные методы решения задач и их возможностям предоставлять оценки требуемого вида;
• применяемым средствам формализации и условиям их допустимого применения и др. Характерным примером служит допущение об
универсальном характере транзитивности бинарных отношений, таких как отношение попарных предпочтений при выборе наилучшего решения
или отношение причинно-следственных влияний, лежащее в основе каузальных когнитивных карт.
Защита от рисков второго рода посредством применения подходящих критериев для своевременного обнаружения рисков может производиться уже на этапе создания новых моделей и методов, или их корректировки, или, в случае неизбежного применения рискованных методов, по крайней мере, на этапе применения этих методов.
Изложенные идеи предопределяют типологию рисков, не привязанную к специфике моделей и методов на основе когнитивных карт. Однако основным средством выявления источников риска, критериев для их обнаружения и вызываемых последствий на сегодня представляется эмпирический подход, основанный на практике применения когнитивных карт и экспериментах.
К настоящему времени авторами выявлен и прошел частичную эмпирическую проверку ряд эвристических критериев риска для достоверности результатов построения моделей на основе когнитивных карт, которые вписываются в общую типологию рисков (см. таблицу). Двумя галочками (М) обозначены критерии, которые будут рассмотрены и обоснованы далее. Одной галочкой (V) обозначены критерии, которые находятся в стадии доработки и подготовки к публикации. Пустые клетки таблицы означают, что вопрос применения критерия для соответствующего вида защиты на сегодня открыт.
Подчеркнем, что критерии, применимые при индивидуальной формализации, могут применяться и при коллективной работе специалистов в проблемной области, однако — лишь при условии приемлемой согласованности их знаний.
Прежде чем перейти к рассмотрению частных критериев, уточним понятие когнитивной ясности и связь критериев когнитивной ясности с другими критериями.
Понятие когнитивной ясности тех или иных сведений, сообщений, описаний и т. д. характеризует легкость интуитивного понимания: недостаток когнитивной ясности проявляется в том, что человек испытывает затруднения, задумывается,
3
пытаясь понять сказанное . Это может выражаться в наблюдаемом замедлении процесса понимания.
В целях адаптации математического языка модели и повышения его понятности (когнитивной ясности) для специалистов в проблемной области разработчики информационных технологий созда-
3 Мы используем термин «когнитивная ясность», а не более привычное «понятность», чтобы подчеркнуть, что оценки этого свойства (в контексте проблемы рисков) должны делаться не на основе «здравого смысла» разработчиков формальных моделей, методов и соответствующих информационных технологий, а на основе знаний когнитивной науки и эмпирических данных.
Некоторые критерии достоверности формализации для моделей на основе когнитивных карт и условия их применения для защиты от факторов риска
Защита от факторов риска
Критерии достоверности 1-го рода (в ходе применения модели) 2-го рода
Критерии, применимые при индивидуальной формализации
Общий критерий адекватности перевода на язык математической модели и обратно Критерии когнитивной ясности математической модели Критерии адекватности шаблонов перевода Критерий (соразмерной) полноты влияний на фактор Критерии соразмерности факторов по общности понятий V V V V V V V (при уточнении семантики языка модели) V V (в ходе применения модели)
Критерии согласованности коллективных знаний
Критерии согласованности индивидуальных понятий факторов V
ют словесные шаблоны перевода на естественный язык таких конструкций модели, как связи в когнитивной карте, иными словами, шаблонов понимания. Шаблон перевода связи представляет собой словесную формулировку смысла произвольной связи в карте (или каких-то аспектов этого смысла), который конкретизируется подстановкой конкретных имен факторов, связанных прямым влиянием, вместо свободных переменных. (Пример шаблона будет представлен далее.)
В связи с этим можно говорить о когнитивной ясности с двух точек зрения. С одной стороны, стереотипность средств понимания действительно способствует когнитивной ясности однотипных конструкций. Но с другой стороны, судя по публикуемым шаблонам понимания связей в картах, сегодня наблюдается тенденция к упрощению шаблонов в ущерб адекватности передачи математического смысла конструкций. Тем самым снижается когнитивная ясность математической модели для специалистов проблемной области, которые понимают математический смысл посредством словесных шаблонов. Сопоставление действующих факторов риска показывает, что для снижения риска искажающего эффекта требуется когнитивная ясность математической модели ситуации для специалистов проблемной области. Она должна обеспечиваться:
• на этапе создания общих формализованных моделей на основе когнитивных карт или при уточнении их семантики для пользователей посредством шаблонов, когда преобладает требование адекватности шаблонов, которое может конфликтовать с требованием когнитивной ясности шаблонов;
• на этапе построения моделей конкретных ситуаций на основе когнитивных карт.
В данной работе рассматриваются и обосновываются критерии достоверности моделей, применимые на этапе построения конкретных моделей, когда риски вносятся их составителями: экспертами, аналитиками и посредниками.
2. КРИТЕРИИ КОГНИТИВНОЙ ЯСНОСТИ МАТЕМАТИЧЕСКОЙ МОДЕЛИ
Критерии когнитивной ясности включают в себя группу локальных частных критериев, которые относятся к отдельным конструкциям карты, таким как фактор, связь, фактор с множеством всех факторов, прямо влияющих на него:
— наличие нормальной формы у понятий, представляющих факторы (далее по тексту понятия факторов4;
— понятность математического смысла конструкций карты по вербальному шаблону;
— бесконтекстность понимания конструкций карты.
2.1. Критерий наличия нормальной формы у понятий факторов
Понятия факторов в формализованных моделях на основе когнитивных карт обладают свойством двуликости, т. е. несут в себе двойственный смысл
4 В теоретическом анализе уместно различать «факторы» и «понятия факторов» (т. е. понятия, обозначающие факторы) и при анализе содержания ситуации говорить о факторах, а в вопросах логического анализа формализаций — о соответствующих понятиях и их объемах.
Рис. 1. Связь факторов риска искажения смысла основных конструкций модели
Рис. 2. Когнитивная карта анализа проблемы энергопотребления: а — исходная карта; б —
[3, 10]. С одной стороны, это фактор, в содержательном смысле5, а с другой — это переменная, принимающая значения на определенной измерительной или оценочной шкале с линейно упорядоченным множеством значений.
Наша гипотеза о рисках искажения смысла основных конструкций модели, основанная на наблюдениях и некоторых данных психологических теорий, состоит в том, что нечеткость и искажения содержательного смысла конструкций модели относительно их математической интерпретации порождает риск недостоверной оценки силы влияний факторов, особенно при недостатке данных для такой оценки. Один из факторов риска заключается в недопонимании математического смысла конструкций специалистами проблемной области. Такое недопонимание, в свою очередь, создает
5 Фактор (от лат. factor — действующий, производящий) — причина, движущая сила какого-либо процесса, явления, определяющая его характер или отдельные его черты [11].
риск неадекватного применения выбранной формализованной модели к конкретной проблемной ситуации (рис. 1, вопросительные знаки означают неполноту: не все значимые факторы изучены.)
Исходя из сказанного, предложен критерий наличия нормальной формы у понятий фактора
Kс(p). Считается, что понятие фактора p поименовано в нормальной форме, если оно может быть естественно интерпретировано (понято) и как фактор, в содержательном смысле, и как переменная, принимающая значения на определенной измерительной или оценочной шкале. При выполнении
Kc(p) для фактора, понятного в содержательном смысле, достигается ясность математической модели этого фактора в виде переменной определенного типа.
На рис. 2, а приведен известный пример когнитивной карты [6]. По критерию K с( p) понятия факторов данной карты: «стоимость электроэнергии», «энергетические мощности», «населенность»,
«число рабочих мест» — поименованы в нормальной форме. Эти факторы естественно рассматривать как переменные со значениями либо на числовой шкале (все они измеримы), либо на оценочной шкале с вербальными значениями типа «высокий», «низкий» и т. п. С лингвистической точки зрения, нормальность проявляется в естественности использования названных понятий факторов в словесных контекстах типа «больше»— «меньше», «рост»—«снижение», «растет»—«снижа-ется» и т. п. Исключение составляет понятие фактора «состояние окружающей среды». Необходимость использовать его в словесных контекстах такого рода может вызвать затруднения, и может потребоваться определенное интеллектуальное усилие, чтобы найти хотя бы аналогичные по смыслу контексты, например, «хуже—лучше» и т. д. Это и говорит о недостаточной когнитивной ясности понятия как переменной требуемого типа.
При этом тот факт, что «состояние окружающей среды» может лишь субъективно оцениваться, тогда как все остальные факторы имеют объективную количественную меру, в отношении критерия
Кс^) не столь важен, если допускается применение лингвистической шкалы.
Коррекция понятия в случае его несоответствия критерию К c(p) возможна чисто лингвистическими средствами, без учета экспертных знаний о содержании рассматриваемого понятия; например, понятие «состояние окружающей среды» может быть заменено на «качество состояния окружающей среды». Однако более достоверное моделирование может достигаться при учете экспертных знаний, причем не только по содержанию понятия моделируемого фактора, но и по его каузальным связям с другими факторами.
В рассматриваемом примере может быть выбрано понятие «уровень загрязнения окружающей среды» или даже более точное — «уровень загрязнения окружающей среды, обусловленного вредными выбросами». При таком уточнении (рис. 2, б) аналитику оказалось более естественным для оценки влияний реструктурировать связи уточненного фактора. Вместо прямой связи между факторами «потребление электроэнергии» и «состояние окружающей среды» в исходной когнитивной карте введена связь, представляющая прямое влияние «энергетических мощностей» на «уровень загрязнения». (На рис. 2, б она обозначена жирной стрелкой.) Прежняя связь (отмечена вопросительным знаком) рассматривается как косвенная: вследствие влияния «потребления электроэнергии» на «энергетические мощности» и «энергетических мощностей» — на «уровень загрязнений» приводит к ее исключению из карты.
Из примера видно, несоответствие понятия
критерию К c(p) можно интерпретировать как недостаточную четкость содержательного смысла фактора относительно требуемого математического смысла. Нечеткость является фактором риска для достоверности модели, который обнаруживается как необходимость уточнений и коррекций, вызванных проверкой соответствия критерию Кc(p). Это становится особенно заметным при переводе на математический язык связей, включающих в себя некорректные понятия, и проверке соответствия приведенным далее критериям, которые относятся к связям.
2.2. Критерии понятности математического смысла конструкций карты по вербальному шаблону
Понятность математического смысла конструкций карты (в частности, связей) по вербальному шаблону означает, что для прочтения (понимания) определенного математического смысла (определенного свойства) конструкции специалистами в предметной области достаточно понять его выражение, полученное применением словесного шаблона перевода соответствующего свойства на естественный язык.
Более точно, смысл критерия понятности связи по шаблону, Кь(Ь0, БН), применимого к любой связи Ь0 в когнитивной карте, состоит в том, что математическое свойство, приписываемое связи Ь0 шаблоном БН в соответствии с семантикой общей модели, должно быть понятно экспертом, так что может быть оценена адекватность этого свойства или, по крайней мере, его приемлемость для выражения каузальной связи, которую представляет связь Ь0 с содержательной точки зрения.
Критерии типа Кь(Ь0, БН) с разными шаблонами служат вспомогательным средством проверки адекватности моделирования наблюдаемым (или предполагаемым) каузальным связям факторов. Игнорирование проверки по таким критериям, согласно нашей гипотезе, создает риск неадекватного применения выбранной формализованной модели к конкретной ситуации, ведущий к недостоверности конечных результатов.
Нетрудно понять, что соответствие понятий факторов p1 и p2 критерию Кc(p) (см. п. 2.1) является необходимым условием применимости шаблона к связи Ь = (p1, p2, а), где а — знак связи или ее вес.
Пример шаблона для однотипного перевода связей применительно к линейным динамическим
Положительное влияние
<имя фактора >г- —> < имя фактора >у : при прочих равных условиях
рост < имя фактора > • приводит к росту <имя фактора > ■
1 У
и снижение < имя фактора >;-приводит к снижению < имя фактора > •
Отрицательное влияние
<имя фактора >;- = > < имя фактора >j : при прочих равных условиях
рост <имя фактора > • приводит к снижению <имя фактора > ■
1 У
и снижение <имя фактора > • приводит к росту <имя фактора > ■
1 У
Рис. 3. Пример шаблона для однотипного перевода связей между факторами
моделям на основе когнитивных карт и некоторым другим типам моделей [5—8] приведен на рис. 3.
В соответствии с этим шаблоном в когнитивной карте (см. рис. 2, а) положительное влияние фактора «потребление электроэнергии» на фактор «энергетические мощности» читается следующим образом: рост (снижение) потребления электроэнергии приводит к росту (снижению) энергетических мощностей при прочих равных условиях. Связь между факторами «потребление электроэнергии» и «состояние окружающей среды» по шаблону не прочитывается: критерий Кь(Ь0, Бк) не выполняется из-за невыполнения критерия
Кс («состояние окружающей среды») — математический смысл связи, заложенный в шаблоне, остается непонятным.
Отметим, что приведенный шаблон (см. рис. 3) не является неадекватным: достаточно сказать, что в нем никак не раскрывается математический смысл веса связи. Он применим на этапах формализации, когда строится модель ситуации без учета весов.
2.3. Критерии бесконтекстности понимания конструкций карты
Бесконтекстность понимания конструкций карты (в частности, связи между парой факторов) означает, что для прочтения (понимания) данной конструкции специалистами в предметной области не требуется какой-либо дополнительный контекст в рамках этой карты. Пример нарушения
бесконтекстности имеется во фрагменте карты наркоситуации (рис. 4).
В контексте фактора карты «эффективное и целевое расходование государственных средств на борьбу с наркоманией и наркобизнесом» легко понять, что и «уровень развития законодательства», и «коррупция в органах власти», и влияние первого на второе рассматриваются в рамках борьбы с наркоманией и наркобизнесом. Формально, необходимым для понимания контекстом в карте по отношению к связи Ь = («уровень развития законодательства», «коррупция в органах власти», —) выступает фактор «эффективное и целевое расходование...». Однако и при прочтении данной связи в карте, и при экспертной оценке силы данного влияния имеется риск отрыва эксперта от контекста, что может вести к неадекватному пониманию и оценке влияния. Искажение состоит в том, что формальный смысл влияния связывается с одними понятиями, более общими (которые явно заданы в карте), а содержательный — с другими, которые ограничены контекстом явно заданных понятий, причем нечетким.
Типичный источник возникновения неявных контекстов — линейный характер процесса построения карты, когда отдельные конструкции карты, в частности, понятия факторов, формируются (т. е. выявляются и формулируются) в контексте предшествующих. При чтении карты этот порядок утрачивается.
Критерий бесконтекстности направлен на защиту от рисков, связанных с отрывом от неявных контекстов.
Рис. 4. Фрагмент когнитивной карты наркоситуации
3. КРИТЕРИЙ (СОРАЗМЕРНОЙ) ПОЛНОТЫ ВЛИЯНИЙ НА ФАКТОР
Критерий (соразмерной) полноты влияний на
фактор, К^^, В^)), применим к любому фактору карты p с множеством всех факторов, прямо влияющих на него, В^). Критерий выполняется, если, по оценке эксперта, нет других факторов прямого влияния на фактор p, соразмерных по значимости с факторами из множества В^). Речь идет о соразмерных влияниях, поскольку предполагается возможность других факторов, в том числе, неизвестных, влиянием которых в проводимом анализе можно пренебречь.
Обоснованиями для введения этого критерия служат
— экспериментальные исследования психолога Д. Дёрнера [4], в которых к типичным видам ошибок относятся ошибки односторонности (как особого случая неполноты);
— гипотеза о зависимости состава факторов, выделяемых субъектом при построении формализованной карты определенной ситуации, от порядка фиксации факторов в строящейся карте, которая согласуется с данными Дёрнера и некоторыми психологическими теориями (в частности, об утрате целостности по Д. Шапиро [12]);
— выборочный анализ опубликованных карт, полученных в различных практических приложениях, и опыта решения прикладных задач посредством когнитивных карт.
Проверка по критерию Кsc(p, В^)) в простейшем случае может осуществляться по формальному признаку — наличию единственного фактора-источника прямого влияния на фактор-приемник этого влияния.
На рис. 4 представлен фрагмент когнитивной карты наркоситуации, в которой в соответствии с
К^^, В^^сомнительным является наличие только одного фактора в множестве В («коррупция в органах власти») = {«уровень развития законодательства»}. Нетрудно понять, что для подтверждения полноты множества факторов в В( p), соразмерных по значимости с «уровнем развития законодательства» (в контексте наркоситуации), эксперту придется вспомнить и о других соразмерных факторах, связанных с противостоянием коррупции, и о других факторах влияния, связанных с наркобизнесом, который заинтересован в росте коррупции. Альтернативой для эксперта является подтверждение, что таких факторов нет.
В свете ожидаемых ошибок, таких как ошибки односторонности (утраты значимых знаний в модели), применение критерия полноты факторов влияния выступает средством привлечения внимания к тем знаниям, которыми эксперты распола-
гают. Наблюдения показывают, что применение критерия полноты вызывает психологический эффект, который мы назвали эффектом экспликации
[13]. Он состоит в том, что в поле внимания оказываются знания, значимые с точки зрения экспертов, которые ранее не были включены в формализованную модель ситуации.
В рассмотренном фрагменте отражен типичный способ экспертного анализа ситуации, когда внимание центрировано на одном факторе («коррупции в органах власти») и его влиянии на все другие факторы. При этом полнота влияний, от которых зависит рассматриваемый фактор, оказывается вне поля зрения. Такой вид экспертного анализа хорошо согласуется с данными Д. Дёрнера по психологическим ошибкам односторонности и гипотезой
о зависимости результатов формализации от порядка составления карты.
Исправления в карте с целью удовлетворения критерия могут выражаться в виде расширения состава факторов в множестве В(^); изменения понятий факторов по объему, включая как фактор p, так и множество В(^); введения формального фактора «прочие факторы» (с последующей оценкой относительной силы его влияния).
4. КРИТЕРИИ СОРАЗМЕРНОСТИ ОБЪЕМОВ ПОНЯТИЙ ФАКТОРОВ И НАРУШЕНИЯ ТРАНЗИТИВНОСТИ КАУЗАЛЬНЫХ ВЛИЯНИЙ
Критерии соразмерности факторов по объемам понятий сложились у авторов при анализе нарушений транзитивности каузальных влияний. Уточним, что под нарушением транзитивности каузальных влияний имеется в виду ситуация, когда при а ^ Ь («а является причиной Ь») и Ь ^ с имеет место —(а ^ с) вместо а ^ с, ожидаемого по транзитивности. При этом принцип транзитивности общепринято считать универсальным для каузальных влияний. Он рассматривается как аксиома, которая при моделировании на основе когнитивных карт ведет к автоматическому выводу косвенных влияний.
Нарушения транзитивности каузальных влияний, с одной стороны, допускались авторами в качестве гипотезы из теоретических соображений по аналогии с известными нарушениями транзитивности попарных предпочтений, имеющими рациональное обоснование [14], а с другой, — они обнаружились в ходе участия в практической работе по построению моделей на основе когнитивных карт. Целью анализа был поиск объяснительных механизмов и способов коррекции для таких нарушений, названных ложной транзитивностью каузальных влияний, а также выявление факторов риска, ведущих к ней, и их раннего обнаружения.
Рис. 5. Варианты фрагмента когнитивной карты производства газа:
а — исходный фрагмент с ложной транзитивностью; б — исправленный фрагмент
При обнаружении ложной транзитивности в конкретных практических примерах оказалось, что:
— ее удавалось избежать, корректируя когнитивную карту;
— коррекция касалась излишне общих понятий, иначе говоря, понятий с излишне общим объ-
6
емом понятия .
Принципиально важным, в смысле исследования процессов формализации слабоструктурированных ситуаций и связанных с ними рисков, представляется следующий факт, обнаруженный на практике: одно и то же (по сути дела) каузальное влияние может быть представлено в когнитивной карте с помощью различных понятий [14]. Тем самым можно говорить о разных представлениях влияния.
Определим более формально некоторые критерии, которые могут помочь эксперту справляться с рисками и принимать решение о возможности корректировать понятия, несоразмерные по объему, в случае обнаружения ложной транзитивности.
Пусть есть два фактора (представленных соответствующими понятиями) А и Вр которые связаны прямым каузальным влиянием В1 ^ А, и пусть существует (найдено экспертом) понятие В2, такое что замещение представления влияния В1 ^ А на В2 ^ А не изменяет (по экспертной оценке)
6 Г’'
С понятиями принято связывать две логические характеристики: содержание — то, что мыслится в понятии и объем. В трактовке объема понятия можно выделить два подхода. Первый основан на представлении объема понятия как класса предметов, охватываемых данным понятием. При этом второй, более формальный подход заключается в том, что не собственно предметы составляют объем понятия, а их отражения в сознании субъекта в виде единичных понятий. При этом в объем понятия включаются все другие понятия, для которых оно является общим.
влияния по сути, и при этом УБ з УБ , где Ув ,
i = 1, 2, — объем соответствующего понятия, и отношение между объемами понятий рассматривается как обычное теоретико-множественное включение или, что то же самое, в словесной форме: «понятие Вх имеет больший объем, чем понятие В2», «понятие Вх является более общим, чем понятие В2».
Тогда фактор В2 более соразмерен по объему (эк-стенсионалу) понятия, чем фактор В1 во влиянии на фактор А, и фактор Вх избыточен по объему понятия в этом влиянии на фактор А. Иначе говоря, понятие фактора-влияния оказывается слишком общим относительно приемника, поскольку экспертом найдено менее общее понятие для представления известного влияния. Предлагаемый экспертный критерий избыточности по объему понятий факторов-источников влияний (причин) относительно приемников влияний (следствий),
с
К (В, А), применим к любой паре факторов когнитивной карты, связанных прямым влиянием фактора В на фактор А.
Критерий для приемника влияния, К°(А, В), формулируется и применяется аналогично, хотя в случае многих влияний на один фактор он менее информативен при обнаружении рисков ошибок.
На рис. 5, а представлен фрагмент реальной 7
когнитивной карты , дополненный косвенными влияниями, которые следуют из прямых влияний карты в силу транзитивности. (Косвенные влияния показаны штрихами.) Анализируя результаты
7 Содержательно, эта карта соответствует ситуации, когда имеются запасы газа и производители располагают ресурсами для увеличения добычи газа, но ограничен их доступ к средствам доставки его потребителям.
моделирования, по умолчанию использующего аксиому транзитивности, эксперт заметил, что «логически выводимого» влияния 3 1 в реальнос-
ти нет; тем самым имеет место ложная транзитивность влияний в карте.
Анализ экспертных знаний о ситуации привел к исправленному варианту (рис. 5, б). (Серым цветом обозначен замененный фрагмент исходной карты.) В новом варианте понятие фактора «добыча газа» разбито на две составляющие: «добыча газа для внутреннего рынка» и «добыча газа для экспорта», и соответственно уточнены связи. Замены влияний 3 -+>■ 2 на 3 -+»• 2", 4 -+> 2 на 4 -+*■ 2'и
2 1 на 2' 1 по существу не изменяли со-
держательной интерпретации исходных влияний у эксперта: изменилась лишь форма их представления в карте.
Согласно критериям соразмерности понятий, в представлении прямых влияний в исходной карте фактор 2 «добыча газа» оказался избыточным по объему понятия во всех трех влияниях исходного фрагмента карты: и как источник влияния во влиянии 2' 1 (в силу существования фактора 2'
«добыча газа для внутреннего рынка», более соразмерного с фактором 1 «дефицит газа в стране», чем с фактором 2), и как приемник влияния — во влияниях 3 -+»• 2, 4 -+»• 2 (в силу существования более соразмерных, чем фактор 2, факторов-приемников влияний, 2' «добыча газа для внутреннего рынка» и 2" «добыча газа для экспорта»). В результате коррекции карты с использованием более соразмерных понятий для представления влияний исходной карты цепочка 3 -+*■ 2 1, порождающая
ложное транзитивное влияние 3 1, исчезла.
Существенно иная ситуация при коррекции связана с введением дополнительного отрицательного влияния 2"'2". Оно означает, что при росте доступа производителей к экспортным газопроводам (при прочих равных условиях) можно увеличить добычу газа для экспорта не только увеличением добычи, но и простым «переключением крана». В последнем случае рост добычи газа для экспорта идет за счет снижения добычи газа для внутреннего рынка. В данном случае в карту введены знания, хорошо известные экспертам, но не проявленные в рамках исходной системы факторов. Изменения в составе факторов карты с переходом от чрезмерно общего понятия фактора «добыча газа» к более соразмерным вызвали эффект экспликации влияния 2"' 2".
С учетом рассмотренного и других практических примеров можно предположить два вида рисков для достоверности результатов моделирования, связанных с использованием слишком общих
понятий факторов: риск ложной транзитивности и риск упущенных значимых влияний.
Для оценки значимости такого рода рисков уместно сравнить выводы из исходного и скорректированного фрагментов. Вместо позитивной (в содержательном смысле) ситуации в карте (см. рис. 5, а), когда уменьшить дефицит газа можно благодаря доступу производителей как к внутренним, так и к экспортным газопроводам (транзитивные влияния 4 1, 3 1), в скорректиро-
ванной карте (см. рис. 5, б) проявилась более сложная и более реалистичная ситуация. Наряду с позитивным (по сути) транзитивным влиянием 4 1 имеет место отрицательное (по сути) вли-
яние 3 -+> 1, и их соотношение при решении проблемы дефицита газа в стране требует сравнительной оценки влияний.
В связи с рискованностью использования слишком общих понятий при представлении каузальных влияний встает вопрос, следует ли считать такие понятия и возникающие несоразмерности ошибками экспертов и нужно ли добиваться их исправления при построении компьютерных средств поддержки моделирования на основе когнитивных карт. Едва ли допустимо рассматривать превышения объема понятий как ошибки, поскольку они типичны при концептуализации сложных и слабоструктурированных ситуаций. Об этом свидетельствуют и практика моделирования на основе когнитивных карт, и неформальные рассуждения экспертов о таких ситуациях. Отнюдь не всегда это ведет к ложной транзитивности. Поэтому мы рассматриваем такие несоразмерности как типичные риски. Их естественно относить к факторам риска первого рода, носителями которых являются эксперты [14]. Допущение об универсальности принципа транзитивности в свете обнаруженных на практике нарушений следует относить к факторам риска второго рода, носителями которых являются теоретики и разработчики информационных технологий.
ЗАКЛЮЧЕНИЕ
Найденные и обоснованные в статье критерии качества формализации представлений экспертов о слабоструктурированной ситуации на основе когнитивных карт направлены на распознавание и блокирование рисков для достоверности результатов моделирования, обусловленных человеческим фактором, и семантических ошибок формализации, а также — на ранний контроль над применимостью выбранного типа общей модели на основе когнитивных карт. Критерии являются локальными, что облегчает и систематизирует процесс их применения экспертами-составителями когнитивных карт, а также верификаторами, осуществляющими контроль корректности формализации.
Значимым для практики фактом, обнаруженным на практических примерах, оказалась зависимость наличия рисков для достоверности результатов от качества формируемых понятий, представляющих факторы когнитивной карты, в частности, от степени их общности. Этот аспект формализации традиционно находится вне поля зрения разработчиков методов решения задач. Отметим, что появление необоснованных выводов из-за несоразмерной общности понятий в рассуждениях хорошо известно лингвистам как средство «искажения истины».
Обнаружение на практике семейства рисков, связанных с нарушением транзитивности каузальных влияний, включая факторы риска первого рода (несоразмерность понятий факторов по общности, характерная для экспертов) и факторы второго рода (вера теоретиков в универсальность принципа транзитивности каузальных влияний, лежащая в основе формального моделирования посредством когнитивных карт) поднимает целый ряд исследовательских вопросов. С теоретических позиций, представляет интерес дальнейшее исследование условий нарушения аксиомы транзитивности казуальных влияний. В немногих практических ситуациях нарушения этой аксиомы, которые мы проанализировали на сегодня, обнаружение нарушений воспринималось экспертами как сигнал ошибки в карте с необходимостью ее исправления, и при этом исправление было успешным. Тем не менее, мыслимы ситуации, когда моделирование экспертных знаний в терминах выбранной общей формальной модели когнитивных карт оказывается невозможным без отдельных нарушений аксиомы транзитивности влияний, и нарушения не признаются экспертами как ошибки, но, напротив, находят рациональное обоснование
[14]. Вопрос о существовании или возможности таких ситуаций в практических когнитивных картах сложных и слабоструктурированных ситуаций сегодня открыт. Запланировано дальнейшее исследование на эмпирическом материале практических когнитивных карт сложных ситуаций с целью выявления таких случаев и их практической значимости. С практической точки зрения, важной задачей является поиск рациональных методов защиты от ложных транзитивностей влияний без сквозной проверки всех связей в карте.
Подтвердилась целесообразность продолжения эмпирических исследований по искажающим эффектам и рискам формализации первичных представлений экспертов о слабоструктурированных ситуациях посредством когнитивных карт с охватом таких аспектов, как защита от факторов риска второго рода, которые исходят от теоретиков и разработчиков информационных технологий, и защита от рисков несогласованности представле-
ний экспертов в коллективных картах. Общая цель таких исследований состоит в том, что бы использовать потенциальные возможности моделирования и решения задач управления для слабоструктурированных ситуаций на основе когнитивных карт с защитой от риска недостоверных решений.
ЛИТЕРАТУРА
1. Когнитивный подход в управлении / З.К. Авдеева, С.В. Коврига, Д.И. Макаренко, В.И. Максимов // Проблемы управления. — 2007. — № 3. — С. 2—8.
2. Кузнецов О.П., Кулинич А.А., Марковский А.В. Анализ влияний при управлении слабоструктурированными ситуациями на основе когнитивных карт // Человеческий фактор в управлении / Под ред. Н.А. Абрамовой, К.С. Гинсберга, Д.А. Новикова. — М.: КомКнига, 2006. — С. 313—344.
3. Абрамова Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях // Проблемы управления. — 2007. — № 2. — С. 11—21.
4. Дёрнер Д. Логика неудачи. Стратегическое мышление в сложных ситуациях. М.: Смысл, 1997. — 243 с.
5. Абрамова Н.А., Коврига С.В., Новиков Ф.В. О достоверности формализованных знаний и некоторых критериях ее оценки // Тез. докл. 3-й Междунар. конф. по проблемам управления / ИПУ РАН. — М., 2006. — Т. 2. — С. 157.
6. Робертс Ф. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. — М.: Наука, 1986.
7. Кульба В.В., Миронов П.Б., Назаретов В.М. Анализ устойчивости социально-экономических систем с использованием знаковых орграфов // Автоматика и телемеханика. — 1993. — № 7. — С. 130—137.
8. Максимов В.И., Корноушенко Е.К. Аналитические основы применения когнитивного подхода при решении слабоструктурированных задач // Тр. ИПУ РАН: Сб. науч. тр. — М.: ИПУ РАН, 1999. — Т. 2. — С. 95—109.
9. Абрамова Н.А. О формировании интерфейсных понятий компьютерных технологий и психологической корректности // Тр. 2-й междунар. конф. «Когнитивный анализ и управление развитием ситуаций» / ИПУ РАН. — М., 2002. — Т. 2. — С. 26—35.
10. Поиск подходов к решению проблем / И.В. Прангишвили, Н.А. Абрамова, С.В. Коврига и др. — М.: СИНТЕГ, 1999. — 192 с.
11. Большая советская энциклопедия. — М., 1977. — Т. 27. — С. 194.
12. Шапиро С.И. Мышление человека и переработка информации ЭВМ. — М.: Сов. радио, 1980.
13. Абрамова Н.А., Вассунов И.В. О влиянии формализации на адекватность когнитивной модели управленческой ситуации // Тр. 5-й междунар. конф. «Когнитивный анализ и управление развитием ситуаций» (CASC’2005) / ИПУ РАН. — М., 2005. — С. 47—51.
14. Abramova N.A., Kovriga S.V. Cognitive Approach to Decision-making in Ill-Structured Situation Control and the Problem of Risks // Intern. Conference on Human System Interaction. — Krakow, 2008.
Статья представлена к публикации членом редколлегии О.П. Кузнецовым.
Абрамова Нина Александровна — д-р техн. наук, и. о. зав. лабораторией, e-mail: [email protected],
Коврига Светлана Вадимовна — научный сотрудник, e-mail: [email protected],
Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, в (495) 334-78-00.
