CC BY
232
УДК 004.891 ББК 32.813
ЭКСПЕРТНАЯ ВЕРИФИКАЦИЯ ПРИ ИСПОЛЬЗОВАНИИ ФОРМАЛЬНЫХ КОГНИТИВНЫХ КАРТ. ПОДХОДЫ И ПРАКТИКА
Абрамова Н. А.1,
(Учреждение Российской академии наук Институт проблем управления РАН, Москва)
Для снижения роли рисков из-за человеческого фактора при моделировании ситуаций на основе формальных когнитивных карт предлагается экспертный подход к верификации карт, моделей ситуаций и результатов имитационного моделирования. Рассмотрены основные составляющие научно-
методологического обеспечения технологической задачи верификации. Предложена междисциплинарная модель когнитивного процесса экспертной верификации, сочетающая понятия и идеи когнитивных наук с компьютерной метафорой системы прерываний. Модель предназначена для комплексного развития теоретических и инструментальных средств поддержки экспертной верификации. Практические возможности экспертной верификации когнитивных карт и предлагаемых подходов к ее инструментальной поддержке демонстрируются на известном примере прикладной карты и результатов ее моделирования.
Ключевые слова: формальная когнитивная карта, верификация, междисциплинарная модель.
1 Абрамова Нина Александровна, доктор технических наук, ([email protected]).
1. Введение
В последние годы появляется все больше публикаций, как теоретических, так и прикладных, относящихся к когнитивным картам. Современные приложения когнитивных карт охватывают различные области, такие как экономика, медицина, экология, иностранные дела и многие другие, вплоть до принятия решений государственного уровня. Особое место в этом спектре применений относится к формальным когнитивным картам, то есть картам с формальной семантикой.
С одной стороны, такие карты позволяют применять для поиска и принятия решений по управлению сложными и слабоструктурированными ситуациями формальные методы, прежде всего, имитационное моделирование. Но, с другой стороны, как показывают исследования [1, 2, 18, 19], известен целый ряд рисков для достоверности конечных результатов решения прикладных задач, которые обусловлены человеческим фактором. Прежде всего, проблема рисков из-за человеческого фактора в этой области заключается в неизбежном и существенном участии людей в решении практических проблем посредством формальных методов (по крайней мере, для формализации первичных представления о ситуации), так что уместно говорить о субъектно-формальных, а не о формальных методах.
Благодаря участию людей, такие методы в принципе не могут обеспечить достоверности конечных результатов, или, другими словами, они в принципе являются рискованными в отношении достоверности результатов. Более того, как показано в работах [1, 17], риск может быть вызван не только лицами, принимающими решения, экспертами и аналитиками (риски первого рода), но и теоретиками и разработчиками методов и технологий когнитивного моделирования (риски второго рода).
В области формальных когнитивных карт проблема рисков из-за человеческого фактора недооценивается научным сообществом, несмотря на ряд результатов, в том числе, таких широко
известных как исследования Д. Дёрнера по «логике неудачи» [9] (См. [1, 19]).
Лишь немногие публикации в этой области и смежных областях, таких как системная динамика, обсуждают проблемы достоверности формирования решений, на которые влияет человек, и способы, позволяющие снизить роль этих проблем [9,
30, 31]. Еще меньшее число работ предлагает конструктивные решения, в частности, с использованием идей верификации [12, 23, 27-29].
Выборочный анализ исследовательских и прикладных когнитивных карт, а также обнаруженных на сегодня рисков свидетельствуют о практической значимости проблемы рисков из-за человеческого фактора в области применения формальных когнитивных карт и делают целесообразной постановку и исследование проблемы верификации в этой области. Целью верификации является раннее обнаружение и блокирование рисков для достоверности конечных результатов применения когнитивных карт и прямых ошибок. При этом, с учетом спектра обнаруженных факторов риска, уместно говорить о двух различных задач верификации, включая (1) верификацию конкретных когнитивных карт и моделей ситуаций на основе карт, составляемых при решении практических задач, (2) верификацию общих теоретических моделей когнитивных карт, применяемых на практике. Настоящая работа посвящена первой из названных задач.
Остальная часть статьи имеет следующую структуру. В разделе 2 определяются основные особенности предлагаемого подхода к экспертной верификации по сравнению с традиционным научным подходом к верификации разных типов объектов. В разделе 3 описываются основные составляющие научнометодологического обеспечения технологической задачи верификации, включая как более традиционную верификацию по предопределенным критериям, так и нетрадиционный подход, учитывающий психологические особенности экспертного мышления посредством оригинальной междисциплинарной моде-
ли когнитивного процесса экспертной верификации. В разделе 4 на известном примере демонстрируются практические возможности развиваемого подхода к экспертной верификации когнитивных карт и результатов их имитационного моделирования. Обсуждается целесообразность накопления пакета прикладных примеров, отражающих опыт применения формальных когнитивных карт, для отладки методов экспертной верификации и идентификации объектов моделирования. В заключение выделяются некоторые практически значимые исследовательские проблемы: как в области теории формальных когнитивных карт, так и в области инструментального обеспечения.
2. Понятие верификации и предлагаемый подход к ней при моделировании ситуаций на основе когнитивных карт
Применение идеи верификации к новому типов объектов требует уточнения самого понятия верификации, которое, как известно, имеет различные толкования и сегодня охватывает самые разные объекты, от программ и баз данных до теорий. Наиболее подходящим для когнитивных карт и их применения представляется вариант интерпретации, предлагаемый в [24], который определяет верификацию следующим образом: “in computer modeling and simulation, the process of determining that a model or simulation implementation accurately represents the developer's conceptual description and specifications”.1 Определение приводится в подлиннике, чтобы
1 Нюанс, требующий уточнения в этом определении состоит в том, что сами представления разработчика спецификаций в случае сложной слабоструктурированной ситуации обычно являются нечеткими и могут претерпевать те или иные искажения под влиянием используемого языка формальных когнитивных карт. Однако анализ того, что понимать в данном случае под точностью представления, лежит 374
обойтись без неизбежных в данном тексте терминологических искажений перевода.
В традиционном научном подходе к созданию методов верификации самых разных объектов акцент делается на двух основных чертах: на формальных методах и на заранее установленных, предопределенных критериях соответствия, которым должен удовлетворять объект верификации.
Подход к верификации при использовании когнитивных карт, который развивается автором работы и ее коллегами, [3,
18] принципиально отличается от традиционного научного подхода к верификации следующими чертами.
• Верификация рассматривается, прежде всего, как экспертная деятельность человека. Это обусловлено спецификой рисков для достоверности конечных результатов и прямых ошибок, которые должны выйти на свет в ходе верификации. Согласно результатам предыдущих исследований, они, в значительной степени, объективно обусловлены слабоструктурированными ситуациями, сложными для формализации, на которые ориентированы когнитивные карты, и действием человеческого фактора в жизненном цикле методов когнитивного моделирования, включая не только применение этих методов, но и их разработку и обоснование (имеются в виду два рода факторов риска).
• Система критериев соответствия в общем случае предопределена лишь частично и может расширяться экспертами в ходе конкретной верификации (в психологических терминах, у экспертов действует самопроизвольный когнитивный контроль над несоответствиями).
Эту особенность деятельности экспертов мы ранее успешно использовали в практике верификации программного обеспечения. Такой подход оказывается продуктивным и при моделировании проблемных ситуаций на основе когнитивных карт, о
за рамками данной публикации. Разумеется, нельзя игнорировать и возможность ошибок в описании разработчиком своих представлений.
чем свидетельствует выборочная верификация прикладных карт и моделей ситуаций на их основе, а также некоторые эксперименты.
В качестве обеспечения экспертной верификации рассматриваются
- когнитивные ресурсы экспертов,
- формальные методы, когда они возможны.
Как показано в [5], информационные технологии могут
поддерживать эту деятельность не только формальными методами, но и расширением когнитивных ресурсов эксперта.
• В противоположность принятой точке зрения, по которой моделирующая система «всегда права», а эксперт-составитель модели может ошибаться, наш подход исходит из допущения, что риски для достоверности конечных результатов и прямые ошибки при использовании формальных когнитивных карт могут привноситься не только составителями модели ситуации (риски первого рода), но и теоретиками, и посредниками при подготовке компьютерного представления экспертных знаний и интерпретации результатов моделирования (риски второго рода) [1, 17]. Это допущение было неоднократно проверено на разных публикациях по формальным когнитивным картам. С учетом этого допущения принимается принцип сопоставления и\или противопоставления различных знаний при анализе достоверности результатов моделирования ситуаций, включая содержательные знания об исследуемой ситуации, знание интуитивной и формальной семантики принятого языка когнитивных карт, теоретические знания о свойствах моделируемых карт.
3. Структура обеспечения задачи экспертной верификации при моделировании ситуаций на основе когнитивных карт
Мы рассматриваем верификацию как технологическую задачу, т.е. задачу, которая должна решаться в составе ком-
плексной прикладной задачи управления по некоторой технологии, поддерживаемой разными видами обеспечения (теоретического, методологического, инструментального). В соответствии с развиваемым подходом к верификации при использовании когнитивных карт можно выделить две типовых задачи верификации, которые целесообразно включать в информационные технологии, поддерживающие моделирование ситуаций на основе таких карт, для повышения достоверности конечных результатов. Это - верификация по предопределенным критериям достоверности и экспертный анализ, не опирающийся на такие критерии (рис. 1).
Технологическая задача верификации
Верификация Экспертный анализ
по предопределенным (без предопределенных
критериям Критериев)
Рис. 1. Типовые задачи экспертной верификации
Рассмотрим основные составляющие научно-методологического обеспечения названных задач, которые уже сегодня могут быть заложены в современные информационные технологии, а также возможности развития такого обеспечения.
3.1. ПОДДЕРЖКА ВЕРИФИКАЦИИ
ПО ПРЕДОПРЕДЕЛЕННЫМ КРИТЕРИЯМ Начнем с задачи верификации по предопределенным критериям (рис. 2).
Основным средством, поддерживающим решение задачи, является открытое множество критериев отсутствия риска для достоверности конечных результатов моделирования (или, возможно, прямых ошибок) К = (Кг(С;)}, коротко, критериев достоверности.
Технологическая задача верификации
Общий экспертный метод верификации по слабоформализованным локальным критериям
КРИТЕРИИ ОТСУТСТВИЯ РИСКА или прямых ошибок
{КО
Рис. 2. Обеспечение задачи верификации по предопределенным критериям
Каждый такой критерий (точнее тип критерия) К относится к определенному типу конструкций (фрагментов) карт Cj или моделей ситуаций на основе карт1. Он направлен на выявление риска определенного типа, который возникает при включении каждой конструкции данного типа в карту или модель на ее основе. Тем самым, критерии являются более или менее локальными. Но все они в совокупности входят в общий критерий адекватности перевода естественного представления о конкретной ситуации на математический язык и обратно [2].
К локальным конструкциям относятся, прежде всего, элементарные конструкции принятого языка когнитивных карт и моделей на их основе.
1 Когнитивная карта задает структуру причинно-следственных влияний для класса ситуаций, отличающихся параметрами (начальными данными). Модель ситуации на основе карты - это описание одной из возможных ситуаций класса.
Уточним при этом, что в работе рассматривается семейство формальных когнитивных карт, в котором элементарными конструкциями карты являются: фактор, прямое влияние одного фактора на другой (иначе, связь)1, узел (т.е. фактор со всеми факторами, которые прямо влияют на него). Предполагается, что разные типы карт в этом семействе различаются видом функции агрегирования влияний в узле, которая является основной характеристикой формальной математической семантики соответствующего языка когнитивных карт. Типичными для современных исследований являются линейные и псевдолиней-ные карты с функцией узла вида
у, (Г +1) = / (X, (Г), Р )
или
у, (Г +1) = /(у, (Г), (X, (Г) - X, (Г -1)) • Р), где у, - значение фактора-следствия в узле ,, X, - вектор значений факторов-причин, которые прямо влияют на у,, Р, - вектор весов соответствующих влияний.
В частности, это может быть линейная функция вида (1) (Г +1) = у (Г) + (Х1 (Г) - Х1 (Г -1) • Р
Во всех случаях по умолчанию предполагается свойство (строгой или нестрогой) монотонной зависимости значения функции от значений факторов-причин.
Для каждой из элементарных конструкций на сегодня имеется хотя бы один критерий достоверности.
Множество локальных критериев К открыто и пополняется новыми критериями, которые накапливаются из опыта экспертного анализа, эмпирических исследований и теоретических рассмотрений. Предпочтение при формировании множества К отдается более локальным критериям, соответствие которым может контролироваться не только экспертами-вери-фикаторами, но и составителями карт и моделей, и дополни-
1 В дальнейшем по умолчанию под связями в карте подразумеваются прямые связи (влияния).
тельные усилия по локализации некорректности могут не потребоваться.
По виду представления критерии являются слабо формализованными. Это значит, что критерий К(С}) представляется в виде словесного шаблона (схемы), который, в логическом смысле, является предикатом со свободной переменной С. При подстановке вместо С. конкретной конструкции С. получается высказывание, К,(С.), истинность которого означает соответствие С. данному критерию К,. (примеры будут представлены ниже).
По возможностям оценки все известные на сегодня локальные критерии, относящиеся к картам, являются экспертными, т.е. оценка соответствия требует привлечения экспертных знаний. Эти знания могут касаться не только предметного содержания конкретной конструкции, но и ее контекста, а также естественно-языковых средств выражения предметных знаний, логики понятий и др.
По возможностям использования формальных методов для поддержки верификации по предопределенным критериям сегодня можно выделить два основных вида методологической поддержки (рис. 2):
• общий экспертный метод верификации по слабо формализованным локальным критериям;
• частные экспертно-формальные методы.
Общий экспертный метод, в первую очередь, относится к элементарным конструкциям карты или модели ситуации, которые легко идентифицируются человеком, причем конструкции одного типа не перекрываются. Метод состоит в том, что для выбранного критерия К(С}) составителем карты или верификатором (вручную или при технической поддержке инструмента) идентифицируется каждая из конструкций С., к которой он применим, и проводится экспертная оценка соответствия (в простейшем случае, двузначная: «да / нет»), с возможной последующей коррекцией.
Частные экспертно-формальные методы могут создаваться для отдельных критериев и типов конструкций с включением формальных методов для
• идентификации сложных рискованных конструкций в карте или модели,
• обеспечения полноты перебора однотипных конструкций,
• обеспечения корректности при последовательном проведении проверок и исправлений при перекрытиях конструкций,
• полной или частичной проверки соответствия, когда это поддается формализации.
На сегодня разработан лишь один экспертноформальный метод, поддерживающий верификацию по критериям отсутствия дублирующих влияний в карте и наличия существенных связей [6], который обладает всеми перечисленными свойствами, кроме последнего.
Сегодня мы располагаем критериями для каждой из элементарных конструкций когнитивных карт исследуемого семейства карт. В их числе:
• критерий наличия нормальной формы у понятия фактора1, Кс(р), относящийся к отдельному фактору р [2];
• критерии, относящиеся к отдельной связи (т.е. прямому влиянию фактора А на фактор В), Ь = (А, В), включая
1 С точки зрения семантики языков когнитивных карт приходится различать фактор как переменную в математическом смысле и понятие фактора как логико-лингвистический объект. Например, если фактор «объем добычи газа в стране» рассматривается просто как переменная, ей сопоставляется то или иное множество значений, которые она может принимать; если же говорить об одноименном понятии фактора, то в качестве частых понятий (при сужении по разным признакам) в его объем входят и «объем добычи газа в стране, равный х (где х - константа)», и «объем добычи газа в России», и «объем добычи газа в России для экспорта».
- критерии монотонности причинно-следственных зависимостей факторов для положительных и отрицательных влияний [18]1 ,
- критерии соразмерной общности понятий факторов [2,
19],
- критерий (соразмерной) полноты влияний на фактор, КВ (р, В(р)), относящийся к узлу: фактору р вместе с множеством всех прямых влияний на него В(р) [2].
В состав критериев, относящихся к более сложным конструкциям, входят:
- критерий отсутствия дублирующих влияний [6];
- критерий отсутствия ложной транзитивности2 (представлен в [2, 19] критериями соразмерной общности понятий факторов;
- критерий отсутствия ложных циклов транзитивности3;
- критерии согласованности карты и начальных данных для моделирования ситуации.
Большинство этих критериев вместе с обоснованиями и описанием рисков, на защиту от которых они направлены, более или менее подробно опубликованы, за исключением двух последних (по которым готовятся публикации). Мы ограничимся
1 В [18] эти критерии рассматриваются с точки зрения когнитивной ясности математического смысла веса влияний для составителя карты и риска искажающего эффекта при задании весов; свойство монотонности явно не называется.
2 Ложная транзитивность в цепочке влияний факторов Ф1 ^ Ф2 ^ Ф3 ■■■ ^ Фп- 1 ^ Фп состоит в том, что при прямых влияниях Ф1 ^ Ф2, Ф2 ^ Ф3, ..Фп _ 1 ^ Фп в реальности, по оценке эксперта-составителя карты, не следует «логически выводимое» по транзитивности влияние Ф1 ^ Фп.
3 Ложный цикл транзитивности состоит в том, что циклический процесс, формально выводимый из цикла прямых влияний факторов, не подтверждается экспертом-составителем карты.
демонстрацией работы этих критериев (кроме трех последних) в комплексном примере, который приводится в следующем разделе.
Добавим лишь, что критерии соразмерной общности понятий факторов появились в наших исследованиях по источникам ложной транзитивности причинно-следственных влияний, которая была обнаружена в прикладных когнитивных картах [19] и, как оказалось, [10], является довольно типичным свойством карт. (Она имеет место более чем в 40% выборки карт, подвергнутых верификации). Вначале нам удалось найти критерии относительной избыточности по объему понятий между факторами-источниками влияний (причинами) и приемниками влияний (следствиями) [2, 19], которые, по существу, подразумевали отыскание новых, более корректных понятий факторов. На сегодня найдены более легкие и практичные критерии, исходящие из формальной логики, проверка по которым предваряет отыскание более корректных понятий. В логическом смысле речь идет об одном и том же критерии соразмерной общности понятий факторов А, В, связанных прямым влиянием А на В. Однако он может быть представлен двумя разными словесными шаблонами.
К^(А,В): [Практически] любое изменение А вызывает изменение В.
Кg2 (А, В): Ситуации, когда изменение А не вызывает изменения В, неизвестны (или практически незначимы).
Предположительно, К^2(А, В) психологически в большей
степени способствует распознаванию избыточной общности понятия А относительно В (гипотеза о различии эффекта двух шаблонов основывается на практике применения аналогичных пар при верификации программного обеспечения).
Наконец, имеются более или менее очевидные экспертные критерии полноты, относящиеся ко всей карте:
- критерий наличия существенных факторов,
- критерий наличия (полноты) существенных связей,
- критерий полноты целевых факторов,
- критерий полноты управляемых факторов,
- критерий полноты влияний внешней среды.
Во всех критериях последней группы, как и в случае критерия КВ (р,В(р)), речь идет о соразмерной полноте (когда игнорирование ведет к существенному снижению адекватности модели и снижению ее достоверности).
Практическая значимость представленных критериев для защиты от рисков для достоверности конечных результатов применения когнитивных карт подтверждается эмпирическим исследованием рисков по опубликованным материалам, а также нашей практикой применения когнитивных карт. В частности, речь идет о результатах верификации представительного массива прикладных и исследовательских когнитивных карт [10], подтверждающих значительную степень несоответствий таким критериям как критерии соразмерной общности понятий факторов, критерий отсутствия ложной транзитивности, критерии понятности связи по шаблону.1 Высокая значимость критерия отсутствия дублирующих влияний косвенно подтверждается психологическими исследованиями [26] и последующим анализом их результатов [6].
3.2. ПОДДЕРЖКА ЭКСПЕРТНОЙ ВЕРИФИКАЦИИ
БЕЗ ПРЕДОПРЕДЕЛЕННЫХ КРИТЕРИЕВ
Принципиальное различие традиционной верификации по предопределенным критериям и экспертного анализа как метода верификации состоит в том, что в первом случае выбор критерия и выбор (идентификация) верифицируемого фрагмента предшествуют оценке соответствия, тогда как при экспертном анализе некоторый фрагмент карты сразу идентифицируется как несоответствующий тем или иным представлениям эксперта-
1 Формально эти критерии интерпретируются как критерии монотонности.
384
верификатора. «Сразу» здесь означает, что оценка появляется в результате внутренних, необязательно осознаваемых, когнитивных процессов.
В соответствии с эмпирическим подходом был проведен предварительный анализ ряда конкретных процессов экспертной верификации когнитивных карт и моделей на их основе без предопределенных критериев. Анализ показывает, что значимое влияние на эффективность верификации могут оказывать такие разные составляющие, как теоретические знания о когнитивных картах и методы визуализации карт, поддерживающие процесс верификации (рис. 3). При этом знания, с которыми работает эксперт при разных методах визуализации и которые естественно считать формально эквивалентными, оказываются когнитивно неэквивалентными. Уместно предположить, что методы визуализации действуют через когнитивные механизмы экспер-та-верификатора, от которых зависит производимое им знание и которые целесообразно исследовать и учитывать.
Рис. 3. Поддержка процессов экспертной верификации без критериев
Комплексный пример верификации результатов моделирования, в котором представлено сегодняшнее применение разных
средств поддержки процесса верификации, отображенных на рис. 3, описывается в разделе 4.
Существенная роль человека и его когнитивных средств в процессе экспертной верификации без критериев делает целесообразным:
• привлечение знаний когнитивных наук для исследования таких процессов,
• построение правдоподобной междисциплинарной модели, которая позволила бы не только объяснить процессы верификации без критериев, известные сегодня, но и подсказывать пути развития средств их поддержки, теоретических и инструментальных.
Подчеркнем, что постановка задачи такого рода неизвестна.
Модель экспертной верификации, опирающаяся на компьютерную метафору с использованием понятия системы прерываний
Предлагаемая модель опирается на принципиальное свойство экспертного анализа как метода верификации, описанное выше: свойство самопроизвольной идентификации (локализации) несоответствий. При этом учитывается, что, как показывают наблюдения, типичны два вида определения несоответствий. В одних случаях идентифицированный экспертом фрагмент анализируемого материала (или его свойство) может сразу оцениваться им как несоответствующий некоторому объявляемому (но не выбранному заранее) критерию. В других случаях оценка дается в самых общих словах типа «некорректно», «так не может быть», «сомнительно», «что-то тут не то», «непонятно», «какая-то странность (или аномалия)». Далее последующим «самоизвлечением знаний» дается объяснение оценки, так что, в конечном счете, либо выявляется нарушенный критерий соответствия, либо устанавливается необходимость дальнейшего анализа для объяснения идентифицированной странности или аномалии. В последнем случае можно говорить об идентификации рискованного фрагмента или общего свойства.
Объяснение когнитивных процессов, дающих такого рода реакцию эксперта на чужую карту или модель на основе карты, может быть дано с использованием знаний когнитивных наук в таких терминах как «когнитивный диссонанс», «когнитивный контроль», «детектор ошибок», «функциональный орган».
Однако, по мнению автора, более четкое и целостное представление получается дополнительным привлечением компьютерной метафоры с использованием понятия «системы прерываний» и родственных понятий таких как «источник прерываний», «основной (прерываемый) процесс», «механизм прерываний», «дисциплина обслуживания прерываний» для увязывания.
Идентификацию несоответствия представляется уместным рассматривать как частный случай проявления когнитивного диссонанса - психологического дискомфорта, который, по теории Л. Фестингера [25], может вызываться противоречием между имеющимся устоявшимся представлением и свежей поступающей информацией, фактами (Фестингер называет стороны такого конфликта когнитивными элементами и рассматривает их как знания, имея в виду не знания-истину, но знания-верования).
Акт идентификации несоответствия может трактоваться как срабатывание «системы прерываний»1, которая осуществляет когнитивные контроли2 над знаниями, извлекаемыми экспертом из объекта верификации: карты, модели ситуации на основе карты, результатов моделирования.
Система прерываний выявляет несоответствия посредством совокупности релевантных детекторов ошибок. Эти детекторы
1 Для большей четкости в описании модели понятия когнитивных наук выделены курсивом, а понятия компьютерной метафоры даются в кавычках.
2 В данной работе когнитивные контроли трактуются, в духе идей Менингерской школы (в изложении [15]), как индивидуальные контро-ли соответствия стандартам адекватности познавательного отражения.
отражают стереотипные, или, по крайней мере, хорошо усвоенные активные знания, относящиеся к сфере анализа (включая как предметные знания, так и относящиеся к когнитивным картам). Обнаружение несоответствия тем или иным детектором может приводить к прерыванию основного процесса в соответствии с той или иной «дисциплиной обслуживания прерываний», так что несоответствие, по крайней мере, регистрируется экспертом, и, возможно, проводится его первичный анализ (прерывание «обслуживается»). С учетом наблюдений по идентификации рискованных фрагментов предполагается, что детекторы могут обнаруживать не только ошибки, но и рискованные и сомнительные ситуации.
Согласно нейрофизиологическим экспериментам Н.П. Бехтеревой [7], действие механизма, который она назвала «детектором ошибок», происходит через эмоции, которые могут рассматриваться как «механизм прерывания».
Как показывают наши наблюдения за работой специалистов, пользующихся когнитивными картами, и верификаторов, в качестве основного процесса, который прерывается, хотя бы кратковременно, обнаружением несоответствий, уместно рассматривать когнитивный процесс, который аналогичен процессам с закрепившимися названиями «чтение графа», «чтение программы», процесс чтения (понимания) карты или модели ситуации на основе карты. Аналогично, можно говорить и о чтении результатов моделирования ситуаций.
В ходе взаимодействия основного процесса чтения верифицируемых знаний с системой прерываний с ее детекторами, контролирующими несоответствия, должно происходить сканирование как всего поступающего материала, так и всех контролирующих знаний, действующих через систему прерываний.
Интуитивно понятна сложность этого процесса, скажем, по сравнению с верификацией локальных фрагментов по предопределенным критериям. В психологических терминах, следуя школе Швеллера [32], говорят о когнитивной нагрузке на чело-
века; принято также говорить о когнитивных ресурсах и ограничениях на них. (См., например, [8].)
Вытекающие из описанной модели предположения:
- о высокой когнитивной нагрузке на человека в ходе идентификации ошибочных или сомнительных свойств объекта верификации при ограниченных ресурсах (таких как внимание, рабочая память),
- о возможности снижения нагрузки за счет подходящих методов визуализации карты,
объясняют факт значимого влияния методов визуализации на эффективность верификации, обнаруженный в реальных примерах.
Как показано на рис. 3, еще одним средством поддержки экспертной верификации являются теоретические знания (средства статического и динамического анализа конкретных карт и моделей ситуаций на их основе).
Из предложенной модели экспертной верификации с двумя видами знаний, порождающих когнитивный диссонанс, можно сделать довольно нетривиальный вывод. Для срабатывания теоретических знаний в качестве элемента диссонанса у верификатора должны сформироваться надлежащие детекторы ошибок или, по крайней мере, детекторы риска, рискованных свойств, способные в силу высокой активности вызвать когнитивный диссонанс и самопроизвольные прерывания основного когнитивного процесса в случае несоответствий.1
И действительно, наш предварительный анализ показывает, что в ряде случаев именно так они и срабатывают при верификации или просто при чтении карт и результатов моделирования. (Хотя в некоторых случаях хорошо закрепленные знания «выскакивают» и
1 В психологии срабатывание стереотипов (хотя и не относящихся к научным знаниям и нормам) связывают с механизмом условного рефлекса [16]. В [1] представлена качественная модель действия стереотипов, учитывающая специфику научных знаний, парадигм и норм.
при последующем анализе несоответствий или странностей, когда явного диссонанса уже нет.)
Вывод состоит в том, что недостаточно только предоставить верификатору подходящие знания: их срабатывание, по крайней мере, первичное должно иметь характер автоматизма. Это может достигаться такими путями, как обучение, накопление опыта успешного использования, вплоть до разрушения неадекватных научных стереотипов.
Таким образом, из предложенной модели экспертной верификации вытекают, по крайней мере, два пути повышения ее качества за счет соответствующих средств поддержки:
- визуальная поддержка, снижающая ресурсоемкость процесса верификации (как и чтения когнитивных карт);
- поддержка теоретическими знаниями по свойствам и поведению моделей на основе карт с обязательным закреплением этих знаний вплоть до формирования стереотипов, способных вызвать когнитивный диссонанс при их нарушении.
Простой пример сформированного стереотипа, поддерживаемого визуализацией карты, будет приведен в разделе 4.
4. Некоторые практические возможности экспертной верификации
Практические возможности экспертной верификации когнитивных карт и результатов их применения представляется целесообразным исследовать на примерах решения конкретных прикладных задач.
Идея верификации рассматриваемого здесь примера сложилась при знакомстве с публикацией по применению метода ЖОК [14] для моделирования экономической ситуации в России летом 1999 г. (метод ЖОК «развивает идеи когнитивного подхода при решении слабоструктурированных задач, разработанного в Институте проблем управления РАН [11, 13], но на основе иного математического обеспечения»).
Работа [14] - одна из немногих в отечественной литературе, где применение метода моделирования представлено довольно подробно, включая как концептуальное моделирование ситуации с открытыми соображениями, на которые опирались эксперты при составлении моделей и которые могут подвергаться независимому анализу, так и результаты имитационного моделирования.
Однако некоторые приведенные оценки и выводы исследователей, интерпретирующие результаты моделирования развития ситуации по «пассивному» сценарию (модель НФЛ-18 в [14]), представляются странными по содержательным соображениям, не зависящим от того, как моделировалась ситуация. В частности, при объявленной оценке «ситуация ухудшается по всем факторам, кроме доверия населения к государственной власти», представлялось сомнительным, что в условиях общего ухудшения в скоростях изменения наиболее значимых факторов доверие населения к государственной власти будет улучшаться, хотя бы и по скорости снижения доверия. Странным также выглядело то, что при общем ухудшении по скоростям изменения наиболее значимых факторов скорость ухудшения фактора «уровень жизни» остается неизменной (в терминах описанной выше модели экспертного анализа при чтении карты сработал самопроизвольный когнитивный контроль странностей и несоответствий).
Предварительная оценка о сомнительности или странности названных и некоторых других выводов усугубилась при визуальной реструктуризации исходной карты в соответствии с критериями когнитивной ясности структуры карты [6], когда стала наглядной структура причинно-следственных связей между факторами карты, определяющая связи их динамики.
Исходная карта состояния экономики в России в июне 1999 г., взятая из книги [14] и обозначенная там как НФЛ-18, представлена на рис. 4.
Рис. 4. Исходная карта состояния экономики в России в июне 1999 г. [14]
Новое представление карты, формально эквивалентное исходному, с точки зрения семантики карты и ее моделирования, дано на рис. 5. Оно отличается (1) по визуализации структуры, (2) по именованию понятий факторов. Новая визуализация структуры соответствует критериям когнитивной ясности структуры, введенным в [5]. Понятия факторов поименованы в более распространенной форме, когда имя фактора и имя соответствующей переменной в математической модели ситуации совпадают, например, вместо «прироста ВВП» для фактора 2 на рис. 4 в новой карте (рис. 5) используется название «ВВП». Математические связи переменных-факторов при этом не меняются - по-прежнему рассматривается линейная динамическая модель, в которой прирост значения зависимого фактора пропорционален приросту фактора-причины. Единственная сложность, к которой мы вернемся ниже, связана с фактором 14, который в исходной карте называется «инфляция». На рис. 5 ему сопоставлено обобщенное название «общийуровень цен (обусловленный инфляцией)».
выборочными результатами моделирования
На рис. 5 представлены также начальные и конечные данные моделирования для наиболее значимых с точки зрения исследователей факторов по одному из сценариев: без вмешательства с помощью управляющих факторов (наблюдаемые факторы выделены жирными линиями). При этом начальные и конечные значения при содержательной интерпретации результатов моделирования трактуются как скорости изменения переменных: в текущей ситуации и при достижении установившихся значений переменных соответственно. Так запись «+0,1 ^ -0,2» над фактором ВВП, означает, что рост ВВП с начальной скоростью 0,1 меняется на спад (-0.2).
При чтении новой визуализации легко видны основные структурные свойства карты, предопределяющие динамику моделируемых ситуаций.
• В карте имеется всего один фактор, который не зависит от других (в наших терминах, условно независимый фактор [4]) - роль государства в экономике; все остальные прямо или косвенно зависят от него.
• В ней имеется единственный цикл обратной связи:
гу 0,7 . 1 1 0,7 . 1 г\ 0,6 . 1 гу 0,6 . с 0,7 . г 0,9 . гу
С2®2 = 2----2—®11---2—®10-----2—®12----2® 5----2® 6----2—> 2,
причем он не охватывает большей части карты, и обратная связь, судя по числу элементов в цикле и величине передаточного коэффициента цикла, слаба. Интуитивно можно ожидать, что из-за слабости влияния обратной связи динамика будет не слишком отличаться от динамики ациклических карт.
После смены визуализации замеченная ранее странность динамики фактора 9 «доверие населения к государственной власти» в сравнении с другими факторами легко прочитывается как явное противоречие (что будет показано ниже), и (в частности, за счет знания теоретических свойств ациклических карт) становится заметным еще ряд странностей и несоответствий.
Один общий вывод по проведенному автором предварительному анализу состоит в том, что в данной карте и модели ситуации на ее основе проявлен ряд типовых ошибок и рисков, характерных для составителей таких моделей (это, в наших терминах, ошибки и риски первого рода). Не менее значим другой вывод: систематический характер ряда обнаруженных странностей и аномалий в результатах моделирования позволяет предполагать наличие ошибок второго рода, привносимых, возможно, посредниками, которые принимают решение о применимости определенного метода моделирования и интерпретируют результаты в терминах моделируемой ситуации.
В соответствии с этими выводами представляется целесообразным использовать данный практический пример применения когнитивных карт, в ряду других доступных прикладных примеров, в качестве исследовательского тестового примера
^ для отладки критериев, методов и приемов экспертной верификации;
^ для отладки процедур обучения комплексной экспертной верификации;
^ для отладки методов идентификации конкретных ситуаций при выборе подходящих методов и средств прогнозирования динамики ситуаций посредством когнитивных карт.
Далее на описанном примере будут показано действие двух основных подходов к экспертной верификации, описанных выше, в ходе комплексной верификации этого примера, включая верификацию карты по предопределенным критериям, и экспертный анализ результатов моделирования динамики ситуации без предопределенных критериев.
4.1. ВЕРИФИКАЦИЯ КАРТЫ ПО ПРЕДОПРЕДЕЛЕННЫМ КРИТЕРИЯМ
Приведем некоторые примеры рисков и прямых ошибок, обнаруженных при экспертной верификации рассматриваемого примера по предопределенным критериям, начиная с критериев, относящихся к элементарным конструкциям карты.
• Критерий наличия нормальной формы у понятия фактора, Кс(р), не удовлетворяется (или, по крайней мере, не вполне удовлетворяется) для фактора 19, которому соответствует понятие и одноименная переменная «криминальный мир, теневая экономика». Отсутствие нормальной формы выражается в том, что к этому понятию с трудом применимы такие естественноязыковые выражения как «чем больше (или лучше, выше) криминальный мир, теневая экономика, тем ...», характеризующие изменения значений переменной. Такие ситуации рассматриваются как фактор риска из-за нечеткости семантики переменной, силу влияния которой приходится оценивать эксперту. Правда, в данной карте этот фактор риска играет, по-видимому, наименьшую роль среди других.
• Несоответствие критериям монотонности причинноследственных зависимостей факторов прослеживается в отрицательном влиянии фактора 8 «качество работы банковской системы» на фактор 14 «общий уровень цен (обусловленный инфляцией)».
Свойство монотонности причинно-следственных зависимостей факторов является основополагающим свойством семантики многих языков формальных когнитивных карт (включая линейные динамические карты, применяемые в методе ЖОК).
Нередко оно выражается в виде словесных шаблонов, или схем, принятых для задания семантики прямых влияний [2, 18]. Для влияния 8 ^ 14 свойство монотонности может быть выражено парой утверждений (которые получаются конкретизацией известных словесных шаблонов путем замены свободных переменных на имена конкретных факторов, связанных прямым влиянием):
РЬ1(8, 14): Рост качества работы банковской системы, при прочих равных условиях, вызывает снижение общего уровня цен (обусловленного инфляцией).
РЬ2(8, 14): Снижение качества работы банковской системы, при прочих равных условиях, вызывает рост общего уровня цен (обусловленного инфляцией).
По умолчанию, из принятой в методе ЖОК линейной функции агрегирования влияний в узлах карты (1), следует и третье утверждение (со своим шаблоном):
РЬ3(8, 14): При постоянстве качества работы банковской системы, при прочих равных условиях, общий уровень цен (обусловленный инфляцией) остается постоянным.
Если эксперт, понимающий механизмы влияния фактора 8 на фактор 14, и согласится с утверждением Р£2(8,14), то из анализа РЬ3(8, 14) ясно, что оно, в общем случае, неверно: постоянство качества работы банковской системы, при прочих равных условиях, не может быть достаточным условием для поддержания постоянства уровня цен (т.е. для нулевой инфляции). Ведь постоянно низкое, в отношении инфляции, качество работы банковской системы может не сдержать роста инфляции. По сходным соображениям, учитывающим, что инфляции является производной по отношению к уровню цен, в общем случае неверно и РЬ1(8, 14): рост качества работы может, например, снижать инфляцию, замедляя скорость роста общего уровня цен (обусловленного инфляцией), но не вызывать дефляции. Принятое моделирование причинно-следственного влияния качества работы банковской системы на общий уровень цен является ошибкой.
Отметим, что если в качестве фактора-причины 8 рассматривать не названный фактор, общий уровень цен (обусловленный инфляцией), а инфляцию, то проблема выражения реальных причинно-следственных влияний в исследуемой ситуации будет перенесена на пару факторов: 14 (инфляция) ^ 10 (уровень жизни). Проблема выразимости причинно-следственных влияний рассмотренного типа является общей проблемой для когнитивных карт и моделей системной динамики, для которых она изучалась Дж. Ричардсоном [30]. (См., например, [21] или [18]). Некорректное использование этих моделей может создавать значимые ошибки при принятии управленческих решений (как показано на примере в [21]).
• Нарушение критерия соразмерной общности понятий факторов имеет место, к примеру, для уже рассмотренной связи 8 ^ 14. В нарушении легко убедиться, используя, приведенный ранее шаблон К%2(Л, В):
Кё1(8, 14): Ситуации, когда изменение качества работы банковской системы не вызывает изменения общего уровня цен (обусловленного инфляцией), неизвестны (или практически незначимы).
Утверждение Кё1(8, 14), очевидно, ложно, т.к. повышение качества работы этой системы может быть вообще не связано с введением антиинфляционных мер; тем самым понятие качество работы банковской системы является несоразмерно общим по отношению к общему уровню цен (обусловленному инфляцией).
Наиболее выражено превышение общности понятия фактора-причины относительно факторов-следствий в связке из 6 влияний фактора-причины 3 «роль государства в экономике» на зависимые факторы. Такая несоразмерность понятия создает риск преувеличения реального влияния фактора, обозначенного этим понятием, при решении задач прогнозирования и управления, вплоть до ложной транзитивности. Такие языковые явления преувеличения общности хорошо известны в лингвистике и изучаются в качестве одного из языковых способов манипуляции.
Например, в данной модели, если государство будет существенно наращивать свое влияние, следуя стратегии повышения объема госзаказов (фактор 4), по формальным признакам это одновременно приведет к снижению общего уровня цен через повышение качества работы банковской системы.
• Наглядным, но отнюдь не единственным в данной карте, примером нарушения критерия (соразмерной) полноты влияний на фактор КВ(р, В(р)) является фактор 8, общий уровень цен (обусловленный инфляцией), с единственным фактором 14, от которого он зависит. Неполнота влияний на фактор 8 в условиях зависимости инфляции в современной России, как минимум, от динамики мировых цен на нефть, очевидна. Знание об этом даже не является экспертным. Анализ того, как и насколько упущение иных факторов, кроме 14, повлияет на прогнозы (и на адекватность управленческих решений), иными словами, оценка риска, порожденного этим упущением составителя карты (хотя бы качественная), выходит за рамки верификации по предопределенным критериям с двузначной оценкой соответствия «да \ нет». Однако в данном примере значимость хорошо понятна.
Для факторов 13,6,18 и некоторых других, зависимых от единственного фактора в данной карте, также нетрудно подобрать, по крайней мере, еще один фактор, соразмерный по силе влияния на рассматриваемый фактор с единственным учтенным фактором.
Невыполнимости критерия полноты влияний на фактор достаточно, чтобы считать карту недостоверной при верификации с двузначной оценкой соответствия. Ошибочность карты в моделировании ситуаций при невыполнимости данного критерия хорошо видна из формулы (1): ошибка не проявляется только при отсутствии динамики у упущенных факторов влияния. Отметим, что, как показывают психологические исследования Д. Дёрнера [9], ошибки неполноты являются весьма типичными.
• Наконец, формальный анализ структуры карты при верификации по критерию отсутствия дублирующих влияний обнаруживает, что рискованные фрагменты в карте имеются. А
именно, для прямых влияний 15 ^ 1, 11 ^ 1, 4 ^ 2 (показанных на рис. 5 пунктиром) имеются дублирующие пути косвенных влияний с тем же общим знаком влияния: соответственно 15 ^ 17 ^ 1, 11 ^ 10 ^ 1, 4 ^ 13 ^ 2. С учетом представленных в [14] характеристик прямых влияний можно считать, что прямое влияние 15 ^ 1 является дублирующим по отношению к 15 ^ 17 ^ 1, как и 11 ^ 1 по отношению к 11 ^ 10 ^ 1. Преувеличение силы косвенного влияния за счет наличия дублирующего прямого влияния для линейной модели легко считается через передаточные коэффициенты. Для влияния 15 ^ 1 оно выражается отношением »0,8 / 0,3, а для 11 ^ 1 - » 1,2 / 0,3.
Таким образом, для всех известных на сегодня более или менее локальных критериев достоверности карты в карте НФЛ-18 из [14] присутствуют рискованные или прямо ошибочные фрагменты, что делает карту недостоверной (в двузначной оценке «да\нет»). По крайней мере, некоторые несоответствия критериям уместно оценивать как значимые для достоверности конечных результатов прогнозирования динамики ситуации.
4.2. ВЕРИФИКАЦИЯ РЕЗУЛЬТАТОВ МОДЕЛИРОВАНИЯ ДИНАМИКИ СИТУАЦИИ ПО СТРАННОСТЯМ
Верификацию по аномалиям и странностям можно рассматривать как самопроизвольную идентификацию странности (или аномалии) верификатором, за которой следует анализ обоснованности идентифицированного свойства.
Следуя принятому принципу противопоставления метода имитационного моделирования другим видам знаний для проверки обоснованности странных свойств, проанализируем отмеченные выше странности в оценке динамики моделируемой ситуации по факторам 9 и 10. Задача анализа состоит в том, чтобы попытаться объяснить или, напротив, опровергнуть, т.е. свести к противоречию замеченные особенности динамики этих
факторов.1 Подчеркнем, что для сведения к противоречию, т.е. для выявления прямых ошибок в рассматриваемых случаях, карт и теоретических знаний в объеме [4], относящихся к ациклическим картам. Однако, при идентификации фрагмента, содержащего противоречие, существенную роль играет наглядная визуализация структуры (рис. 5).
1. Анализ странности по фактору 9. При попытке объяснить положительную по скорости динамику фактора 9 «доверие населения к государственной власти» через динамику факторов, от которых он зависит, из рис. 5 легко видеть, что, в конечном счете, фактор 9 зависит только от условно независимого фактора 3, так что достаточно знать только его динамику. Данных по динамике фактора 3 не хватает; однако на рис. 5 легко заметить, что фактор 13, уровень занятости населения, также, в конечном счете, зависит только от фактора 3. При этом влияние фактора 3 на 13 также положительно, как и на 9. Следовательно, направление изменения значений факторов 13 и 9 при любых изменениях фактора 3 должно быть одинаковым, чему противоречат представленные результаты моделирования: ухудшение по скорости -0,3 ^ -0,4 для фактора 13 и улучшение по скорости -0,5 ^ - 0,3 для фактора 9.
2. Анализ странности по фактору 10. Чтобы попытаться объяснить странную динамику фактора 10, выделим из модели рис. 5 легко идентифицируемый фрагмент (рис. 6), достаточный для формального определения динамики фактора 10 в зависимости от динамики других факторов. На рис. 6 показаны все влияния, идущие на фактор 10 через разрез {2, 13, 8} из остальной части карты.
1 Здесь и далее, говоря о динамике факторов, мы имеем в виду относительную динамику, т.е. изменения значений факторов во времени с точностью до значения в начальный момент времени или момент, предшествующий начальному. Именно такая динамика, по умолчанию, исследуется в линейных динамических картах.
400
Рис. 6. Фрагмент модели ситуации, достаточный для формального анализа динамики фактора «уровень жизни»
2.1. Выбор разреза. В соответствии с теоремами о разрезах из [4], при их некотором обобщении, для однозначного определения динамики фактора 10 достаточно знать динамику факторов некоторого разреза графа карты, предшествующего 10.
В качестве такого разреза мог бы быть выбран разрез Я1 = {2, 13, 8}. Правда, динамика фактора 8 неизвестна по исходной публикации [14], но динамика факторов 14 и 15, очевидно, одинакова, поскольку она однозначно определяется динамикой фактора 8. Поэтому можно либо взять разрез Я2 = {2, 13, 14, 15}, либо рассчитать динамику фактора 8 по соответствующему уравнению вида (1) и работать с разрезом Я1 = {2, 13, 8}, что должно дать один и тот же результат. Выбираем разрез К2, принимая, что скорости изменения значений факторов 14 и 15 (в принятых относительных единицах их оценки) в любой момент одинаковы.
2.2. Анализ по динамике разреза. Напомним, что замеченная странность по фактору 10 «уровень жизни населения» состоит в том, что он продолжает падать с той же скоростью (-0.5) при общем ухудшении по скорости наблюдаемых значимых факторов. Постоянство скорости из-
менения может иметь правдоподобное, с содержательной точки зрения, объяснение, если ухудшающие влияния, идущие от разных факторов, будут компенсировать друг друга.
Результат анализа влияний расчетных изменений в динамике факторов разреза К2 представлен в табл. 1 в терминах «ухудшения», «улучшения» принятых в исходной публикации [14]. При этом анализируемый целевой фактор 10 является положительным по отношению к интересам общества: желательно увеличение и его величины, и скорости нарастания. Остальные факторы оценены как положительные или отрицательные по отношению к 10 с учетом формального знака их влияния на 10 (для наглядности отрицательные факторы на рис. 6 заштрихованы).
Табл. 1. Результаты анализа влияний факторов разреза
Номер фактора из разреза Соответствие целевому фактору 10 Знак вли- яния Тип последствий расчетного изменения для целевого фактора Вес влияния на целевой фактор 10 Расчетное изменение фактора
2 положит. + ухудшение ^ ухудшение 0,7-0,7 » 0,5 +0,1 ^ -0,2
14 отрицат. - ухудшение ^ ухудшение -0,7 +0,3 ^ 0,5
15 отрицат. - ухудшение ^ ухудшение -0,7 +0,3 ^ 0,5
13 положит. - ухудшение^- улучшение (-0,4) • 0,3 » -0,1 +0,3^ -0,4
Уточним, что расчетными изменениями считаются изменения установившихся значений, полученных в результате моделирования, относительно исходных наблюдаемых значений. Например, изменение «+0,1 ^ -0,2» для положительного фактора 2, ВВП, является расчетным ухудшающим изменением.
Как видно из табл. 1, лишь одно (косвенное) улучшающее влияние 13 10 по знаку влияния и соответствию целевому
фактору, в принципе, может скомпенсировать ухудшающие влияния 2 10, 14 ^ 10, 15 ^ 10.
Однако расчет передаточных коэффициентов влияний факторов разреза на фактор 10, определяющих вес их влияния на 10, с учетом величины расчетных изменений факторов разреза позволяет сделать следующий формальный вывод: улучшающее влияние 13 ® 10 не может скомпенсировать даже одного ухудшающего влияния 2 ® 10 (которое оценивается как слабое ухудшение).
Примечание. Более формально, эти же результаты можно получить, выписывая характеристическую функцию [4] для зависимости динамики переменной V 10, сопоставляемой фактору 10, от динамики переменных, сопоставляемых факторам разреза
V; = 0.7 • 0,7^ + (-0,4) • 0,3у; + (-0,7К + (-0,6>* @
0.5^*-0,1^ -0,7<4 -0,6^.
Однако для ее строгого применения в рассматриваемом примере требуется более четкая интерпретация динамики значений переменных, чем это возможно для исходной публикации [14].
2.3. Содержательный анализ улучшающего влияния уровня занятости (10) на уровень жизни (10) через доходы, остающиеся вне сферы влияния ГНС (16), не привязанный ни к принятым значениям весов прямых влияний, ни к оценке текущей ситуации, также не позволяет принять допущение о возможности компенсировать за счет рассматриваемого влияния все ухудшающие влияния (включая растущую инфляцию).
Тем самым, мы приходим к выводу, что расчетная (по представленным результатам моделирования и их интерпретации) динамика текущей ситуации по фактору 10, в сравнении с расчетной динамикой других факторов, противоречит формальной семантике языка линейных динамических карт и содержательной оценке ситуации.
4.3. НЕКОТОРЫЕ ВЫВОДЫ ПО РЕЗУЛЬТАТАМ ВЕРИФИКАЦИИ
Подведем некоторые итоги по примеру.
• Приведенные фрагменты комплексной верификации тестового примера моделирования ситуации из [14] свидетельствуют о работоспособности экспертной верификации, основанной на предложенных принципах, при обнаружении значимых риски для достоверности конечных результатов и прямых ошибок.
• В частности, работоспособен принцип противопоставления различных видов знаний для проверки обоснованности получаемых результатов моделирования, позволяющий обнаруживать противоречия, свидетельствующие в пользу недостоверности результатов.
• Противоречия в расчетной динамике прогнозируемых результатов развития ситуации имеют систематический характер (включая тип противоречий, представленный в разделе 4.2, а также нарушения критерия согласованности карты и начальных данных для моделирования ситуации, которые не рассматривались в рамках данной публикации). Это свидетельствует в пользу предварительного вывода о наличии ошибок второго рода при моделировании ситуации по методу ЖОК, наряду с ошибками экспертов-составителей карт.
Анализ полученных результатов конкретной верификации, а также сложностей и ограничений, возникающих в ее процессе, говорят о необходимости дальнейшего развития методов экспертной верификации и ее программной поддержки по направлениям, о которых скажем в заключении.
5. Заключение. Некоторые нерешенные проблемы
Наличие человекозависимых рисков первого и второго рода, значимых при решении практических задач прогнозирования и управления развитием слабо структурированных ситуаций посредством когнитивных карт, а также начальный опыт практической верификации когнитивных карт и результатов моделирования говорят о необходимости дальнейших исследований по проблеме верификации в этой области.
При этом представляется актуальным решение следующих исследовательских задач.
• Требуется теоретическое уточнение практически значимых задач верификации, причем следует различать задачи первичной идентификации несоответствий и диагностики причин, результатом которой могут стать те или иные коррекции, вплоть до отказа от конкретных формальных методов обработки когнитивных карт из-за их несоответствия конкретной практической задаче.
• В свете предложенной междисциплинарной модели процесса экспертной верификации представляется целесообразным исследование по вопросам обучения и тренинга составителей когнитивных карт и верификаторов теоретическим знаниям, полезным для защиты от рисков для достоверности конечных результатов.
• При верификации карты или модели на ее основе по многим локальным критериям необходимы методы комплексного оценивания, достаточно информативные для принятия решений по коррекции.
• В свете предложенной междисциплинарной модели процесса экспертной верификации представляется целесообразным исследование по вопросам обучения и тренинга составителей когнитивных карт и верификаторов теоретическим знаниям, полезным для защиты от рисков для достоверности конечных результатов.
• В различных подходах к верификации, в том числе, и в области когнитивных карт, по-разному решается «проблема правоты», т.е. вопрос о том, кого считать неправым в случае идентификации тех или иных несоответствий при верификации. Достаточно сказать, что в приведенном выше определении верификации [24] правым, по умолчанию, признается разработчик спецификаций, иными словами, это может быть эксперт, составляющий модель ситуации на представленном ему языке. Напротив, в идеологии работы [12] получается, что эксперт должен принимать объяснения системы. Наш подход допускает ошибки обеих сторон, с правом принятия решений экспертом. Однако сегодня понятна необходимость обобщающей диагностической модели, обобщающей разные подходы и поддерживающей компетентное и обоснованное принятия решений в ситуациях конфликта разных знаний.
• Одной из интересных исследовательских задач представляется сравнительный анализ диагностических возможностей разных подходов к верификации на представительном пакете прикладных примеров, отражающих опыт применения формальных когнитивных карт.
Литература
1. АБРАМОВА Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях // Проблемы управления, 2007, №2. - С. 11 - 21.
2. АБРАМОВА НА., КОВРИГА С.В. Некоторые критерии достоверности моделей на основе когнитивных карт // Проблемы управления. - 2008. - №6. - С.23 - 33.
3. АБРАМОВА НА., КОВРИГА С.В. О проблеме верифика-
ции при моделировании слабоструктурированных ситуаций на основе когнитивных карт // Труды Межд. мультиконференции «Актуальные проблемы информационно-
компьютерных технологий, мехатроники и робототехники»
(ИКТМР-2009). - г. Таганрог: НИИ МВС ЮФУ, 2009. - С. 115 - 117.
4. АБРАМОВА Н А., ФЕДОТОВ А. А. О развитии аналитического подхода к определению внешнего поведения моделей на основе динамических когнитивных карт // Труды УШ-ой Междунар. конф. «Когнитивный анализ и управление развитием ситуаций» (СЛ8С'2009). - М.: ИПУ РАН -
2009. - С. 23 - 40.
5. АБРАМОВА Н А. , ВОРОНИНА Т А., ПОРЦЕВ Р.Ю. О методах поддержки построения и верификации когнитивных карт с применением идей когнитивной графики // Управление большими системами. Специальный выпуск 30.1 «Сетевые модели в управлении». - М.: ИПУ РАН,
2010. С.411 - 430.
6. АБРАМОВА Н А., ПОРЦЕВ Р.Ю. Метод программной поддержки построения когнитивной карты с защитой от риска дублирующих влияний // Управление большими системами: тр. VII Всерос. школы-конф. молодых ученых. — Т. 2. - Пермь, 2010. - С. 189 - 193.
7. БЕХТЕРЕВА Н.П. Мозг человека. Сверхвозможности и запреты. // Доклад на Всемирном Конгрессе "Итоги тысячелетия". Санкт-Петербург, 22.11.2000. [Электронный ресурс]. -Режим доступа: http://bronnikov.ru/literatura/b_l_i4.php
8. ГУСЕВ А.Н., УТОЧКИН И.С. Парадигма унилатерального предъявления в психофизических задачах: возможности и ограничения ресурсного подхода // Первая российская конференция по когнитивной науке. Тезисы докладов. Казань: КГУ - 2004. - С. 71 - 72.
9. ДЁРНЕР Д. Логика неудачи. Стратегическое мышление в сложных ситуациях. - М.: Смысл - 1997.
10. КОВРИГА С.В. Верификация конкретных моделей на основе когнитивных карт // Труды VIII Межд. конф. «Когнитивный анализ и управление развитием ситуаций». СЛ8С’2009 - М.: ИПУ РАН. - 2009. - С. 47 - 53.
11. КОРНОУШЕНКО Е.К., МАКСИМОВ В И. Управление процессами в слабоформализированных средах при стабилизации графовых моделей среды // Труды Института проблем управления РАН. - 1998. - №2.
12. КУЛИНИЧ А.А. Верификация качественных динамических моделей. // Вторая международная конференция «Системный анализ и информационные технологии» САИТ-2007. Т1, - М.: Издательство ЛКИ. - 2007. - C. 35 - 38.
13. МАКСИМОВ В.И., КОРНОУШЕНКО Е.К. Аналитические основы применения когнитивного подхода при решении слабоструктурированных задач // Труды Института проблем управления РАН - 1998 - №2.
14. ОРЛОВ А.И. Теория принятия решений. Учебное пособие -М.: Издательство «Март» - 2004. - С. 656.
15. ХОЛОДНАЯ М.А. Психология интеллекта: парадоксы исследования. 2-е изд., перераб. и доп. СПб.: Питер, 2002.
16. ЧАЛДИНИ Р. Психология влияния. - СПб.: Питер, - 2001.
17. ABRAMOVA N.A. A Subject of Intellectual Activity under Cognitive Control of Ambient Intelligence: In 9th IFAC Symposium on Automated Systems Based on Human Skills and Knowledge - Nancy (France) - 2006.
18. ABRAMOVA N.A., AVDEEVA Z.K. AND KOVRIGA S.V. Cognitive Approach to Control in Ill-structured Situation and the Problem of Risks. In Advances in Robotics, Automation and Control. J. Aramburo and A.R. Trevino, editors - IN-TECH, Viena - 2008. - P. 85 - 110.
19. ABRAMOVA N.A., KOVRIGA S.V. Cognitive approach to decision-making in ill-structured situation control and the problem of risks. In: Proc. IEEE Conference on Human System Interaction. - Cracow, Poland. - 2008. - pp. 485 - 490.
20. ABRAMOVA N., AVDEEVA Z., KOVRIGA S., AND MAKARENKO D. Subject-formal Methods Based on Cognitive Maps and the Problem of Risk Due to the Human Factor. In Cognitive Maps, K. Perusich, editor, InTech, Viena, 2009. - P. 35 - 63.
21. ABRAMOVA N.A., KOVRIGA S.V., MAKARENKO D.I. One
Approach to Analysis of Risks due to Human Factors in Decision Support Systems for Ill-Structured Situations // Proceedings of the 2nd International Conference on Human System Interaction (IEEE). Catania: University of Catania. - 2009. - P. 120 - 127.
22. ABRAMOVA N.A. About the Verification Problem at Cognitive Mapping of Ill-structured Situations in the Context of Cognitive Clarity and Relativity Principles // Proceedings of the 20th European Meeting on Cybernetics and Systems Research. Vienna: Austrian Society for Cybernetic Studies - 2010. - P. 214 - 218.
23. CURZON P., RUKSENAS R. AND BLANDFORD A. An approach to formal verification of human-computer interaction. Formal Aspects of Computing, 19(4). - 2007. - P. 513 - 550.
24. Dictionary of Military and Associated Terms. US Department of Defense 2005.
25. FESTINGER L. A Theory of Cognitive Dissonance. Row-Peterson, Evanston, MA, 1957. Русский перевод: ФЕСТИНГЕР Л. Теория когнитивного диссонанса: Пер. с англ. СПб.: Ювента, 1999.
26. HODGKINSON G., MAULE A., AND BOWN N. Causal Cognitive Mapping in the Organizational Strategy Field: A Comparison of Alternative Elicitation Procedures - Organizational Research Methods, 7(1). - 2004. - P. 3 - 26.
27. HOWICK S., EDEN C., ACKERMANN F., AND TERRY WILLIAMS. Building Confidence in Models for Multiple Audiences: The Modelling Cascade. European Journal of Operational Research, 186(3). 2008. - P. 1068 - 1083.
28. MCLUCAS A.C. Improving causal mapping practice using the System Dynamics 'Front End' Tool'. In: Proceedings of System Dynamics 2002, International System Dynamics Conference, The System Dynamics Society, Palermo, Italy, August 2002.
29. MCNAMARA L., TRUCANO G., BACKUS G., AND MITCHELL S. Verification and Validation Methodology for Computational Cognitive, Behavioral, and Social Models. Computa-
tional Science Research Highlights SAND2009-2614P, ГУ-38 - IV-39, 2009.
30. RICHARDSON G. Problems in causal loop diagrams revisited. System Dynamics Review, 13(3). - 1997. - P. 247 - 252.
31. SCHAFFERNICHT M. Causality and diagrams for system dynamics // Proc. of the 25th International Conference of the System Dynamics Society, July 2007. Boston, USA. - P. 24 - 49.
32. SWELLER J. Cognitive Load during Problem Solving: Effects on Learning. Cognitive Science, 12. - 1988, - P. 257 - 285.
EXPERT VERIFICATION IN FORMAL COGNITIVE MAP APPLICATION. APPROACHES AND PRACTICES
Nina Abramova, Institute of Control Sciences of RAS, Moscow, Doctor of Science ([email protected]).
Abstract: To reduce impact of human-induced risk in simulation of situations on the basis of formal cognitive maps the expert approach is suggested to verification of cognitive maps, map-based models of situations and simulation results. The main components of the scientific and methodological support for the technological task of expert verification are considered. An original multidisciplinary model of the cognitive process of expert validation is proposed, combining concepts and ideas of cognitive science with computer metaphor of the system interruptions. The model is designed for the integrated development of theoretical means and tools to support expert verification. Practical capabilities of expert verification of cognitive maps and proposed approaches to its instrumental support are shown on the well-known example of the applied cognitive map and results of its simulation.
Keywords: formal cognitive map, verification, multidisciplinary model.
Статья представлена к публикации членом редакционной коллегии М. В. Губко
