Научная статья на тему 'Получение групповой экспертной оценки значений показателей: пошаговая процедура и программное обеспечение'

Получение групповой экспертной оценки значений показателей: пошаговая процедура и программное обеспечение Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
114
35
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Получение групповой экспертной оценки значений показателей: пошаговая процедура и программное обеспечение»

— заинтересовать сотрудников института в заполнении сайта, например, путем реализации подсистемы подсчета ПРНД;

- наделить сайт функциями создания отчетов, возможно, перевести всю систему научной отчетности РАН в Интернет, чтобы процесс подготовки отчетов сопровождался общественно значимой работой по наполнению Сети.

Как видно из перечня задач, сайты институтов будут развиваться в порталы, наделенные разнообразными функциями по организации совместной работы и документооборота [1, 2].

Функционал, необходимый для создания порталов, имеется в современной версии ^гСМ 4.

На основании изложенного можно сделать вывод о том, что система NetCat позволяет в минимальные сроки создавать сайты с широкими функциональными возможностями.

Авторы выражают благодарность О. Богомаз (OOO «НетКэт», г. Москва) за помощь в работе.

Литература

1. Семенов С.В. [и др.]. Развитие идеи корпоративных информационных пространств как ответ на новую информационную парадигму // Программные продукты и системы. 2008. № 1. С. 35-37.

2. Бездушный А.А. [и др.]. Информационная WEB-система «Научный институт» на платформе ЕНИП. М.: ВЦ РАН, 2007. 124 с.

УДК 004.942

ПОЛУЧЕНИЕ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ: ПОШАГОВАЯ ПРОЦЕДУРА И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

Г.Н. Хубаев, д.э.н.

(Ростовский государственный экономический университет (РИНХ), [email protected])

В данной работе рассматриваются процедура и инструментарий получения групповой экспертной оценки значений различных показателей (величины ущерба, затрат, прибыли, времени наступления события и др.) при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное.

Ключевые слова: имитационное моделирование, коэффициент вариации и ошибка функции отклика, ошибки независимых переменных, доверительные границы значений функции отклика.

Предлагаемый автором подход ориентирован, во-первых, на использование многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, на интеграцию метода Дельфи (разработан для прогнозирования будущего [1, 2]) с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя. Такое объединение дает ряд преимуществ, в частности, предоставляет специалистам, участвующим в экспертизе, возможность рассматривать возражения и предложения других членов экспертной группы в атмосфере, свободной от влияния личных качеств участников. Одновременно появляется возможность использовать так называемое информированное интуитивное суждение специалиста-эксперта путем создания таких условий, когда эксперт может активно взаимодействовать с другими специалистами в этой области или в областях, касающихся прочих аспектов изучаемой проблемы.

При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов,

на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага [1, 2].

Разработчики метода Дельфи отмечают, что даже когда имеется формальная математическая модель, например, модель развития различных сторон экономики, исходные предположения, область применимости модели, интерпретация выходных данных - все это в значительной степени зависит от интуиции соответствующего специалиста. При отсутствии строгих и общепринятых теоретических обоснований и вытекающей из этого неизбежной необходимости полагаться на интуитивные заключения специалистов существуют лишь два выхода: первый - в отчаянии воздеть руки к небу и отложить принятие решений...; второй - сделать все возможное... и попытаться получить приемлемые по качеству обобщенные суждения специалистов, а затем рационально их использовать. При этом при отборе специалистов для участия в экспертизе, помимо объективных характеристик (должность, стаж работы, образование и др.), желательно учитывать даваемую ими

оценку собственной компетентности (чаще всего по 10-балльной шкале).

Предположим, описанная интеграция с методом Дельфи реализована. Но как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя и значение показателя будет находиться в заданных доверительных границах?

Для ответа на подобные вопросы, по мнению автора, единственно обоснованной процедурой является предлагаемая последовательность шагов.

1. Оценки каждого Ьго эксперта на j-м шаге Э®1 (минимальное, максимальное и наиболее вероятное значения показателя) представляются в виде треугольного распределения.

2. Обобщенное коллективное мнение п экспертов об искомом значении анализируемого показателя определяется как среднее п случайных величин, имеющих треугольное распределение (мнений п участников экспертной группы) путем реализации на каждом к-м шаге имитационного моделирования функции Э<к)об=(ЕЭ<к)0/п, ien.

В качестве инструментальных средств для реализации имитационного моделирования могут использоваться программные продукты [3, 4], позволяющие с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель.

3. В результате имитационного моделирования на каждом к-м шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (гистограмму) значений искомого показателя - функции Э^^СЭ®^.

4. После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок анализируемого показателя, и предлагают при желании изменить свои предыдущие ответы.

5. На каждом очередном j-м шаге оценивают изменение значений коэффициента вариации

функции Э об. При отклонении коэффициента вариации от предыдущего значения, например, на 5 % и менее, можно считать, что оценки экспертов стабилизировались и целесообразно завершить экспертизу, то есть, если ^^.„.-К^+^а^х х100/К®уаг %<5 %, можно завершать экспертизу.

6. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Пример. Пусть группа из 10 экспертов оценивает величину ущерба от нарушения в системе информационной безопасности объекта. Итоги экспертизы представлены в таблице 1.

Таблица 1

Результаты трех шагов (циклов) экспертизы

Шаг 1 Шаг 2 Шаг 3

н Значения

о п Мин. Веро- Макс. Мин. Веро- Макс. Мин. Веро- Макс.

В Л ятн. ятн. ятн.

Э, 12 18 32 10 18 30 10 18 30

Э7 6 10 18 8 12 21 9 12 21

Эз 8 12 40 8 12 35 8 12 30

Э4 5 10 18 9 10 22 9 10 22

Э5 7 15 25 8 15 20 10 15 20

Эб 11 16 20 11 16 20 11 16 20

Э7 13 19 27 13 17 22 12 17 22

Э8 10 19 24 10 14 24 10 14 24

Э9 4 11 21 9 11 21 9 11 26

Э10 14 20 25 14 15 25 12 15 25

Примечание: жирным шрифтом выделены значения показателя, измененные экспертом на очередном шаге.

На рисунке показана гистограмма распределения функции Э(1)об на первом шаге.

Результаты имитационного моделирования после каждого из трех шагов экспертизы представлены в таблицах 2-4.

Таблица 2

Результаты моделирования на шагах 1-3

Параметр Значение

Шаг 1 Шаг 2 Шаг 3

Переменная Э(1)об Э<2)об Э<3)об

Число итераций 10000 10000 10000

Среднее 16,335 16,013 16,016

Дисперсия 1,295 1,018 0,965

Среднее квадратиче-ское отклонение 1,138 1,009 0,982

Коэффициент вариации, Ктаг 0,070 0,063 0,061

Асимметрия 0,153 0,142 0,114

Эксцесс -0,123 -0,109 -0,200

Минимум 12,829 12,368 12,827

Максимум 20,435 19,752 19,659

Модальный интервал 16,09 : 16,63 15,53 : 16,06 15,76 : 16,24

Таблица 3 Значения накопленной вероятности на шагах 1 и 3

V ХШ1П V хшах Вероятность попадания функции Э(1)об в указанный диапазон значений Накопленная вероятность

Шаг 1

12,83 13,37 0,003 0,003

13,37 13,92 0,010 0,013

13,92 14,46 0,031 0,043

14,46 15,00 0,077 0,120

15,00 15,55 0,130 0,251

15,55 16,09 0,174 0,425

16,09 16,63 0,189 0,614

16,63 17,18 0,156 0,771

17,18 17,72 0,111 0,881

17,72 18,26 0,070 0,951

18,26 18,80 0,031 0,981

18,80 19,35 0,013 0,995

19,35 19,89 0,004 0,999

19,89 20,43 0,001 1,000

Шаг 3

12,83 13,32 0,001 0,001

13,32 13,80 0,007 0,008

13,80 14,29 0,026 0,035

14,29 14,78 0,069 0,104

14,78 15,27 0,127 0,230

15,27 15,76 0,177 0,408

15,76 16,24 0,188 0,596

16,24 16,73 0,167 0,763

16,73 17,22 0,125 0,888

17,22 17,71 0,067 0,954

17,71 18,20 0,031 0,985

18,20 18,68 0,012 0,997

18,68 19,17 0,003 1,000

Таблица 4

Статистические характеристики оценок экспертов

Оценим целесообразность завершения экспертизы, то есть определим, насколько существенно изменился коэффициент вариации на очередном шаге. Для этого вычислим значение | К(2)таг--К(3)уа1.|х100/К(2)та1.=3,17 %<5 % - можно завершить экспертизу.

Обратим внимание, что в методиках, ориентированных на проведение нескольких туров опросов, как правило, отсутствуют четкие количественные критерии, свидетельствующие о возможности завершения экспертизы, о появлении стабильности в ответах экспертов.

Воспользовавшись данными из таблицы 3, можно определить вероятность того, что значения искомого показателя будут находиться в заданном диапазоне.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Итак, автором предложены процедура и инструментарий (программные системы автоматизированного синтеза имитационной модели) получения групповой экспертной оценки значений различных показателей - величины ожидаемого ущерба, затрат, прибыли, оборота, времени наступления события и прочего при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное. Одна из особенностей предлагаемого подхода состоит в использовании имитационного моделирования для получения обобщенной экспертной оценки диапазона предполагаемых значений анализируемого показателя, вторая заключается в интеграции дельфийской процедуры, обычно используемой для прогнозирования, с экспертизой, направленной на получение значения искомого показателя. При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага. Обобщенное коллективное мнение п экспертов об искомом значении анализируемого показателя определяется как среднее п случайных величин, имеющих треугольное распределение (мнений п участников экспертной группы), путем реализации имитационного моделирования. В результате имитационного моделирования получают оценки статистических характеристик (математического ожидания, дисперсии, коэффициента вариации, эксцесса, асимметрии) и распределение (гистограмму) значений искомого показателя.

Кроме того, в работе приведен численный пример определения номера шага, после которого целесообразно завершать экспертизу. Отмечено, что трудозатраты на получение групповой экспертной оценки значений различных показателей с использованием предложенного инструментария (системы автоматизированного построения имитационной модели) ничтожно малы. Так, для описанных примеров затраты времени на синтез ими-

Переменная (эксперт) Среднее значение Стандартное отклонение, а Коэф. вариации Мин. знач. Макс. знач.

Э1 20,70 4,18 0,20 12,06 31,77

Э2 11,33 2,49 0,22 6,05 17,90

Эз 19,96 7,03 0,35 8,09 39,36

Э4 11,02 2,68 0,24 5,05 17,94

Э5 15,65 3,68 0,23 7,09 24,96

Эб 15,64 1,86 0,12 11,03 19,96

Э7 19,67 2,87 0,15 13,09 26,88

Э8 17,69 2,90 0,16 10,14 23,92

Э9 12,03 3,47 0,29 4,03 20,90

Э10 19,67 2,24 0,11 14,05 24,89

Э(1)об 16,34 1,14 0,07 12,83 20,43

тационной модели и имитационное моделирование при использовании системы [4] составляли в среднем несколько секунд. Результаты имитационного моделирования дают возможность оценить доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Литература

1. Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и прави-

тельственных учреждений; [пер. с англ.; под ред. Г.М. Добро-ва]. М.: Прогресс, 1972. С. 77-83.

2. Helmer O. Social Technology, NY, Basic Books, Inc., Publishers, 1966.

3. Конструктор имитационных моделей деловых процессов / Г.Н. Хубаев, С.М. Щербаков, А.А. Шибаев. № 2005612262; заявл. 02.08.2005; зарегистр. в Реестре 05.09.2005. М.: Роспатент, 2005.

4. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» / Г.Н. Хубаев, С.М. Щербаков, Ю.А. Рванцов. № 2009610414; заявл. 20.11.2008; зарегистр. в Реестре 19.01.2009. М.: Роспатент, 2009.

УДК 004.428

WEB 2.0 СРЕДА МОДЕЛИРОВАНИЯ ДИНАМИЧЕСКИХ СИСТЕМ

Д.В. Жевнерчук, к.т.н.; А.В. Аристов

(«ЦентрКодиум» Открытые исследовательские системы, г. Чайковский,

drevnigeck@rambler. ru)

Проведение виртуальных удаленных экспериментов в полном объеме до сих пор затруднительно. Остаются вопросы организации среды моделирования как сервиса SaaS. Большой объем данных, генерируемый в результате проведения эксперимента, накладывает жесткие требования к качеству передачи трафика. Предлагается архитектура среды моделирования динамических систем, позволяющая организовать ее функционирование как интернет-сервиса.

Ключевые слова: виртуальный эксперимент, открытые системы, интегратор, динамическая система, моделирование, Интернет, браузер.

Технология открытых систем (ТОС) является перспективным и приоритетным государственным направлением научных исследований [1, 2]. Открытая система должна удовлетворять свойствам расширяемости, переносимости приложений и данных, масштабируемости, интероперабельности и способности к интеграции. Кроме того, она должна быть построена на основе совокупности ряда информационных стандартов, доступ к которым не ограничен техническими, юридическими или иными механизмами. Другое передовое направление Web 2.0 используется при построении интернет-систем, в которых основная вычислительная нагрузка ложится на сервер, пользователь принимает активное участие при подготовке контента [3]. Клиентская часть системы обрабатывает графический пользовательский интерфейс и передает пользовательские данные и управляющие сигналы на сервер.

В статье рассматривается архитектура среды моделирования динамических систем, построенная с применением технологий открытых систем и Web 2.0. Особенностями среды являются возможность ее расширения (по методам интегрирования, моделям и диалоговым окнам), независимость от ряда программных и аппаратных платформ (к последней относятся операционная система и Web-браузер), возможность внедрения в другие системы и поддержка механизмов взаимодействия с

внешними системами посредством XML, возможность расчета параметров модели разными методами интегрирования. Кроме того, пользователь может с клиентского приложения формировать контент, представляющий собой текстовое описание системы, поясняющие рисунки и схемы, математические модели, схемы интегрирования, текстовые описания моделей и анимационные схемы.

Основной функцией серверной части является расчет параметров модели по переданной с клиента схеме интегрирования. Кроме того, на сервере осуществляются организация многопользовательского режима вычислений и хранение базы моделей.

На рисунке 1 представлена концептуальная схема справочника как открытой системы.

Рассмотрим свойства среды моделирования как открытой системы.

Среда моделирования обладает механизмами расширяемости по моделям и схемам интегрирования без перекомпиляции проекта. Это достигается за счет организации XML -описания метаданных ядра системы, то есть при добавлении новой схемы или схемы интегрирования редактируются соответствующие XML-файлы, с которыми работает ядро. Вновь введенная информация становится доступной через клиентское приложение, что позволяет осуществлять выбор новых возможностей на стороне клиента.

i Надоели баннеры? Вы всегда можете отключить рекламу.