CC BY
66
№ 6(30) 2010
Н. Н. Прокимнов
Моделирование мониторинговых процессов
Эффективность процессов управления определяется эффективностью составляющих его этапов и в первую очередь начальных, к которым относится сбор информации об объекте управления. В статье предлагается ряд моделей для оценивания параметров систем наблюдения разной степени сложности, необходимого при их проектировании, учитывающих особенности построения и организации процессов наблюдения.
Постановка задачи
Сбор, систематизация, обработка и анализ данных образуют один из наиболее важных этапов процессов управления, необходимый для определения вида и параметров управляющих воздействий. Собранные и обработанные данные используются на дальнейших этапах в процедурах принятия на их основе управленческих решений. В соответствии с устоявшейся практикой наблюдение за состоянием объекта управления, которое во многих случаях имеет непрерывный характер, принято называть мониторингом. В силу специфики данных наблюдения, часто исключающей полную автоматизацию их подготовки и передачи, требований к форме и виду их представления для обеспечения удобства использования, организационных и других особенностей задача наблюдения усложняется.
В [1] были предложены подход к решению задачи построения системы наблюдений на стратегическом уровне, а также принципы его практической реализации, технология осуществления мониторинга и структура системной оболочки. Эти концепции и проектные решения позволяют создавать системы наблюдения за протеканием различных процессов и адаптировать их к изменениям в требованиях к собираемым данным, результатам и виду представления агрегированных данных и организационной среды наблюдения. В частности, они дают возможность:
• унифицировать стандарт описания информационной и организационной среды проведения наблюдений;
• автоматизировать процессы разработки инструментария и проведения наблюдений;
• обеспечить систему единой фактографической базой наблюдений;
• улучшить сопоставимость временных рядов;
• повысить степень взаимозаменяемости участников;
• исключить дублирование создаваемых средств;
• сократить сроки и затраты на подготовку и проведение наблюдений.
Вместе с тем реальные условия, как правило, накладывают ограничения на денежные, временные и человеческие ресурсы, в силу чего даже при наиболее рациональном построении системы может возникнуть необходимость в адаптации ее функциональных и системотехнических характеристик к существующим ограничениям. В частности, могут быть нужны корректировки совокупности собираемых сведений, требований к их точности, периодичности обновления, состава источников данных (наблюдателей), технологий приема, обработки в центре наблюдения и распространения подготовленных данных, структуры центра наблюдения и других параметров.
Принятие управленческих решений по построению системы мониторинга, как и управленческих решений вообще, должно быть максимально обоснованным, что во многих
№ 6(30) 2010
случаях может обеспечить применение методологии математического моделирования, позволяющей оценить параметры различных вариантов решений и провести на их основе сравнительный анализ. Целью настоящей работы является построение прикладных моделей для предварительного оценивания функциональных и системотехнических параметров систем мониторинга на этапах анализа и проектирования.
Структура системы и процессов мониторинга
На рисунке 1 представлена схема рассматриваемых процессов и среды их протекания.
В структуре системы, осуществляющей мониторинг, выделяются два основных типа субъектов:
• центр наблюдения, в задачу которого входят организация процессов наблюдения, сбор, накопление, обработка, агрегирование получаемых данных, подготовка, тиражирование и распространение результатов;
• наблюдатели (Н), или респонденты (Р), ответственные за сбор, подготовку и передачу сведений относительно явлений или объектов наблюдения, закрепленных за ними1.
Организационно-методическую основу функционирования системы образуют документы, содержащие описание методики и регламент проведения наблюдений. По окончании наблюдения (его цикла) готовятся итоговые документы и направляются лицам, принимающим решения (более подробное описание приведено в [1]).
В силу малой структурированности собираемых данных, неоднозначности применяемых методик, нарушений регламента и других причин поступающие сведения могут содержать ошибки. Обычно взаимодействие наблюдателей и центра мониторинга
1 Наблюдения могут вестись как на регулярной (периодической) основе, так и однократно для информационной поддержки отдельных решений.
носит итеративный характер: наблюдатели после выявления ошибок на этапе приемки сведений в центре наблюдения вносят в них исправления и отправляют в центр повторно. Значительная часть ошибок в донесениях обнаруживается автоматически2. Однако есть ошибки, которые могут быть выявлены только экспертным путем (на основе рассмотрения динамики показателей, сопоставления их значений со значениями за некоторые другие периоды и т.д.). В силу этого следует подчеркнуть, что такой анализ особенно необходим на начальных этапах наблюдения, когда знаний относительно наблюдаемого процесса или объекта недостаточно и формализовать логические правила проверки корректности данных отдельных донесений нельзя.
Этап сбора данных и формирования донесений наблюдателями также требует с их стороны существенных затрат времени и усилий. Нужно принимать во внимание также и тот факт, что в типичном случае наблюдатели — хозяйствующие субъекты (если наблюдение ведется за экономическими объектами), и эта работа является дополнительной к их основной деятельности.
Поэтому для рациональной организации процесса мониторинга необходимы предварительный анализ и оценивание различных вариантов структуры и параметров его системы. Степень сложности постановки и решения оптимизационной задачи определяется рядом факторов, среди которых в первую очередь следует отметить следующие.
1. Значимость для организации и трудоемкость мониторинга.
В простейших случаях, когда объем работы по сбору сведений невелик и проводится в рамках должностных обязанностей силами одного сотрудника, примене-
2 В [1] дано описание средств унифицированной оболочки, позволяющей на уровне администратора произвести настройку программ контроля корректности донесений для конкретного наблюдения, основанного на формальной проверке их реквизитов и логических связей между ними.
№ 6(30) 2010
Рис. 1. Процессы в системе мониторинга
ние специальных методов исследования едва ли оправдано. Напротив, если мониторинг является основным видом деятельности организации и использует значительный объем ресурсов (функциональные подразделения, техническая база), предварительный анализ различных подходов будет необходим.
2. Требуемая точность.
Многие управленческие решения представляют собой выбор из множества вариантов, число которых весьма невелико, поэтому высоких требований к точности математической модели, используемой для их оценивания, не предъявляется. Напротив, оценку значения параметров функционирования желательно осуществлять с возможно большей точностью.
3. Доступность исходных данных.
В ряде случаев препятствием к использованию имеющихся моделей служит отсутствие необходимых исходных данных. Например, при организации нового наблюдения значения многих параметров можно задать лишь приблизительно, обратившись к близким по своему назначению и характеристикам аналогам из прошлого опыта ведения наблюдений.
4. Наличие выбора (множества альтернатив).
Степень сложности и точности математических моделей определяется в значительной степени многообразием и сложностью вариантов, обоснованному выбору из которых должна помочь математическая модель. При отсутствии практически
92
№ 6(30) 2010
доступных вариантов надобность в модели исчезает.
Поэтому представляется целесообразным решать задачу рациональной организации мониторинга, предварительно выявив цели (совокупность) наблюдений, имеющиеся ресурсы, возможный состав наблюдателей, допустимый порядок наблюдения и другие факторы. Вслед за этим на основе анализа собранных фактов выбирается наиболее подходящая данному случаю модель решения задачи.
Далее предложены варианты моделей разной степени сложности, которыми может воспользоваться аналитик на этапах определения требований к системе и ее проектирования.
Модели »нижнего уровня»
Приблизительную оценку параметров функционирования системы мониторинга в относительно простых случаях (например, если наблюдение играет вспомогательную роль в основной деятельности предприятия или подразделения) можно получить, воспользовавшись одной из известных моделей теории массового обслуживания [2].
При относительно небольшом числе проводимых наблюдений, не превышающем числа участвующих в приемке и обработке данных экспертов, можно в первом приближении представить систему мониторинга в виде замкнутой модели системы массового обслуживания (СМО) (рис. 2) с экспоненциальным законом распределения времени подготовки донесений наблюдателями и времени обработки донесений серверами или экспертами (С) в центре наблюдения.
Вероятности состояний установившегося режима, под которыми понимается число занятых серверов (экспертов) системы, находят с помощью известных выражений:
Р0 =
1
1 +
г !р
г \р
1 !(г-1)! ' 2!(г-2)! ..... г!0!
+... +
/
Рис. 2. Замкнутая модель мониторинга, п >г г !р
Р =
к!(г - к)!
Р0,г = 1,... п,
(2)
где п — число серверов; г — число наблю-X .
дателеи; р = —; А — интенсивность потока Ц
формирования донесений наблюдателями;
— интенсивность потока обработки донесений серверами.
Если число наблюдателей превышает число серверов (п < г), более точную оценку вероятностей состояния можно получить с помощью известной модели замкнутой системы с очередью (рис. 3):
Р0 =( 1 +
Г !р + Г! р
1 !(г -1)! 2 !(г - 2)! г !р" г !р"+1
+..
п\(г - п)\ (п +1 )!п1 (г - п -1)!
(3)
г !р"
- +... + -
г !рг
(п + 2 )!п2 (г - п - 2)! "' г\пг ~" О! г !р'
Г
Р =
(1)
Р =
к!(г - к)!
г\рк п\пк~" (г - к)!
Р0,1 < к < п;
Р0, к > п.
(4)
(5)
93
№ 6(30) 2010
/
Ч. Л ^........
ч
\
I ^
] [
/
Рис. 4. Закрепление эксперты ^ наблюдения
Рис. 3. Замкнутая модель мониторинга, п < г
Если допущения, лежащие в основе этих моделей, являются для реальной системы слишком сильным упрощением, делающим точность оценок неприемлемой, то потребуется модель, в которой специфика моделируемой системы учитывается более детально.
Модели, учитывающие специфику наблюдений
Характер экономических или социальных процессов, за которыми осуществляется наблюдение, как правило, отличается значительной сложностью, что проявляется в первую очередь в необходимости привлечения ряда экспертов, хорошо понимающих специфику только одного или нескольких наблюдений из всей совокупности. В общем случае работа над различными наблюдениями организуется (по аналогии со многими другими видами деятельности) путем их распределения по экспертам, что можно представить двудольным графом (рис. 4).
Получить аналитическое решение в общем виде — сложная задача. Тем не менее для частных моделей в предположении марковского характера процессов, протекающих в системе мониторинга, могут быть получены выражения для расчета параметров (хотя это и сопряжено с техническими трудностями). Продемонстрируем постановку и возможный метод решения на примере конкретной задачи.
94
©ц
С,
Рис. 5. Модель СМО с двумя наблюдениями и двумя закрепленными серверами
На рисунке 5 показана структура модели для случая, когда в системе осуществляются два наблюдения с участием двух экспертов (серверов): первый эксперт может производить анализ донесений как первого, так и второго наблюдений, а второй — только второго.
Граф состояний и переходов для этой модели показан на рис. 6.
Рис. 6. Граф состояний и переходов СМО с двумя наблюдениями и двумя закрепленными серверами
Система может находиться в одном из показанных на графе состояний: 500 — оба эксперта свободны;
— первый эксперт свободен, второй — занят;
№ 6(30) 2010
— первый эксперт занят, второй — свободен;
— оба эксперты заняты. Дополненные условием нормировки
уравнения Колмогорова-Чепмена для установившегося режима имеют вид:
(^1 + К )Р00 - ц1р10 + ц2Р01
+ ц2 )Р„ = (Х, + Х2 )Р10 + ^Р01 (X, + ц2 )Р01 = + Р00
р + р + р + р = I ' 00 т ' 01 т ' 10 т ' 11 1 ■
(6)
В результате преобразований из этой системы уравнений можно получить выражения для вероятностей Р00, Р01, Р10, Р11 нахождения системы в состояниях S00, S01, S10, S11:
Poo =M#2 (2^1 + + M, + Ц2 ): : X,\i2 (X, + ц2 ) + ц#2 (ц, + ц2)+ (7) (X2 + ц2) + (ц1ц2 + Х^2 + );
к
_2 ц2
р р ■ ' 01 .. ' 00'
(8) (9) (Ю)
р = ^ +Ц2) р .
10 ^ (2А, + + ц2) 00'
р _ х,хг р
Имитационные модели мониторинга
Предположение о марковском характере процессов мониторинга, лежащее в основе рассмотренных аналитических моделей, в силу большой взаимозависимости этих процессов может быть принято только в первом приближении. Кроме того, циклический характер наблюдений с перерывами в работе между отчетными компаниями делает бессмысленным понятие установившегося режима, выражения для значений параметров которого приводились выше. Поэтому более тщательный анализ целесообразно проводить с использованием методологии имитационного моделирования, где ограничения отсутствуют.
На рисунке 7 показан граф имитационной модели, построенный в соответствии с правилами моделирующей системы Pilgrim [3]. Этот граф может быть адаптирован к конкретным условиям и параметрам функционирования моделируемой системы (для наглядности множества однотипных подграфов верхней и нижней частей графа представлены одной парой).
Верхняя часть графа обеспечивает запуск очередного цикла наблюдения согласно установленному регламенту. Таймер запуска каждого наблюдения реализуется тройкой узлов ад (генератор транзактов), queue (очередь транзактов) и key (ключ). Узел key необходим для блокировки начала очередного цикла наблюдения при незаконченном предыдущем. Ключ переводится в закрытое состояние при прохождении через него сигнала запуска наблюдения и открытое состояние при вхождении транзак-та — итога наблюдения в узел term (самый нижний узел рис. 7). Изменение состояния ключа производится сигнальными функциями системы Pilgrim, их действие показано на рис. 7 пунктирными линиями.
В средней части схемы рис. 7 должен располагаться граф модели, который описывает процессы, протекающие в центре наблюдения. Степень детализации описания выбирается из соображений требований к точности, доступности исходных данных и других условий, перечисленных ранее.
Нижняя часть схемы имитирует процессы подготовки донесений наблюдателями и их взаимодействия с центром наблюдения. Поскольку, как уже отмечалось, наблюдателями в системе мониторинга экономических процессов в ряде случаев являются юридические лица, осуществляющие функцию наблюдения как дополнительную к своей основной, то для имитации загрузки наблюдателей основной работой в каждую пару узлов queue и serv добавлены узлы ад и term. При необходимости уточнить характер протекания процессов можно с помощью настроек параметров узлов, таких как режим работы с приоритетами, закон и параметры распределе-
95
2010
Рис. 7. Унифицированная структура имитационной модели мониторинга
96
№ 6(30) 2010
ния, и/или дополнить эти подграфы узлами, описывающими процессы более детально.
На рисунке 8 показан пример описания в модели центра наблюдения.
В этом варианте учитывается итеративный характер взаимодействия центра наблюдения и наблюдателей в процессе сбора данных мониторинга. Число взаимодействий задается в модели как случайная величина с законом распределения и значением параметров.
Представленная модель предусматривает возможность закрепления наблюдателей за наблюдениями в виде двудольного графа (рис. 9).
Каждому наблюдению в графе модели соответствует один узел créât, который в момент поступления транзакта из соответствующего таймера (см. рис. 7), запускающего очередной цикл наблюдения, создает группу транзактов-заданий и посредством стоящего за ним узла queue направляет их на узлы
нужных наблюдателей (см. рис. 7). Множест- | во таких узлов задается исходными данными ц модели и соответствует множеству наблюдателей, отвечающих за подготовку и отправку эё донесений по наблюдению. Одновременно * с этим порождающий транзакт направляется в узел delet, куда будут поступать транзакты завершенных (свободных от ошибок) донесений наблюдателей. После того как в этот узел придут все донесения, транзакт перейдет в узел term, сигнализируя об окончании очередного цикла наблюдения.
Обработка донесений в центре наблюдения имитируется узлами queue и serv. В узел queue приходят транзакты-донесения из узлов-наблюдателей. Транзакты, выходящие из узла serv, могут направляться в узлы-наблюдатели (если имитируется наличие ошибки в полученном донесении) или в узел de-let, соответствующий данному наблюдению (если имитируется отсутствие ошибок).
Рис. 8. Имитационная модель мониторинга
=v 97
№ 6(30) 2010
наблюдатели ^ наблюдения
Имитационная модель »верхнего уровня»
Описанная в предыдущем разделе имитационная модель достаточно подробно воспроизводит протекание процессов мониторинга. Однако для тех случаев, когда требуется провести очень тщательный и точный анализ всех параметров системы, предлагается модель, учитывающая большинство возможных факторов. В частности, она основана на следующих допущениях:
• центр наблюдения одновременно осуществляет множество наблюдений;
• процесс наблюдения состоит из нескольких основных этапов (подготовка, проведение, анализ результатов), различных по характеру выполняемой работы (см. [1]);
• наблюдения могут проводиться как на регулярной основе, так и однократно;
• донесения по разным наблюдениям отличаются по объему и сложности, что находит свое отражение в разной величине затрат на подготовку их наблюдателями и обработку в центре наблюдения;
• законы и параметры распределений временных данных в общем случае различны и могут задаваться в качестве параметров модели;
• каждый отдельный цикл наблюдения носит итеративный характер, требующий многократного взаимодействия с наблюдателями;
• наблюдатели осуществляют наблюдение дополнительно к своей основной деятельности;
• закрепление наблюдателей за наблюдениями является параметром моделирования;
• закрепление специалистов центра наблюдения за наблюдениями — параметр моделирования;
• каждое наблюдение может ограничиваться определенным сроком, по достижении которого оно прерывается, и формирование итогов производится на основании донесений, собранных и обработанных до истечения установленного директивного срока.
На рисунке 10 показан граф модели центра наблюдения (см. рис. 7), в которой учитываются перечисленные факторы.
Реализация правила обработки документов наблюдений, согласно схеме закрепления экспертов за определенными наблюдениями, требует применения специальных приемов. Для решения этой задачи каждый эксперт (сервер) центра наблюдения представлен пятеркой узлов queue-key-serv-key-term. При поступлении транзакта в крайний слева узел key (вход графа с узлами центра наблюдения) в следующем за ним узле créât создаются несколько копий транзакта. Число этих копий определяется числом экспертов (серверов), закрепленных за наблюдением, к которому относится пришедший транзакт. После поступления первой копии транзакта на обслуживание в узел serv в реестре копий ставится отметка, и все другие копии транзактов будут уничтожаться (направляться в узел term) при их появлении в узлах key в цепочках других экспертов.
Аналогичным образом реализовано требование учета контрольных сроков. С этой целью в момент начала процесса сбора донесений по каждому наблюдению создается копия транзакта (узел créât), которая помещается в узел serv (с пометкой директивные сроки на рис. 10) на время, равное промежутку от текущего момента до контрольного. После выхода транзакта из этого узла по записи в журнале наблюдений проверяется факт завершения этапа сбора данных
№ 6(30) 2010
Рис. 10. Детальная имитационная модель
по текущему наблюдению. В случае, если сбор донесений не закончен, выставляется флажок удаления всех транзактов-донесе-ний по мере их прихода в центр наблюдения, а транзакт из соответствующего узла delet, ожидающий поступления всех завершенных донесений, выталкивается. Транзакт таймера директивных сроков направляется в узел term и там уничтожается3.
Транзакты, выходящие из узлов графа центра наблюдения, могут направляться в разные узлы модельного графа в зависимости от текущих условий и состояния тран-закта согласно следующей логике.
1. После завершения этапа подготовки наблюдения в крайнем справа узле créât (стрелка с пометкой стартовые извещения) создается набор транзактов-донесений по числу наблюдателей, закрепленных за данным наблюдением. Порождающий транзакт
3 С подробным описанием приема, используемого для имитации логики обработки отчетов респондентов в центре наблюдения в соответствии со схемой закрепления респондентов за экспертами, а также для имитации принудительного завершения наблюдений по таймеру, можно ознакомиться в [4].
направляется в соответствующий этому наблюдению узел delet, в котором будут накапливаться готовые донесения.
2. Обработанные транзакты-донесения наблюдателей могут направляться (логика маршрутизации обозначена на рисунке серым прямоугольником):
• при отсутствии ошибок в транзакте-до-несении — в узел delet наблюдения;
• при наличии ошибок в транзакте-доне-сении — в узел queue наблюдателя;
• при выставленном флаге таймера принудительного завершения сбора данных — в узел term для уничтожения (на стрелке с пометкой технологические отходы).
3. Транзакт, поступивший в первый узел графа центра наблюдения из узла delet и означающий конец этапа сбора донесений, инициирует итоговую обработку и направляется далее в узел term завершенных наблюдений (стрелка с пометкой итоги наблюдений).
Построенная программная модель реализует подход на основе «управления данными». Это означает, что исследования на ней могут вестись посредством задания зна-
№ 6(30) 2010
чений параметров без необходимости внесения изменений в программную модель (исходный текст) с последующей ее компиляцией и сборкой исполнительного модуля. В число задаваемых параметров входят, в частности, состав, регламент и временные характеристики проводимых наблюдений, схемы закреплений наблюдений за наблюдателями (респондентами) и экспертами (серверами), параметры работы наблюдателей и т. д.
В дополнение к стандартной таблице выходных параметров для каждого узла графа, формируемой системой Pilgrim, модель собирает и выводит в удобном для анализа виде данные, отражающие прикладную специфику моделируемой системы. Дополнительные входные и выходные параметры помещаются в специальный файл с итогами моделирования, сгруппированными по нескольким признакам.В листинге 1 приведены примеры вывода результатов для каждой группы параметров.
Заключение
В практике управления нередки случаи, когда решения принимаются без проведения тщательного предварительного анализа, основанного на использовании количественных показателей, раскрывающих эффективность различных вариантов решений, что отрицательно сказывается на надежности и качестве последних. Одной из причин такого подхода является отсутствие в ряде случаев простого инструментария, позволяющего в короткий срок оценить значения параметров для принятия обоснованных решений. Предполагается, что применение предложенных в статье моделей мониторинговых процессов, которые дают возможность за разумное время с нужной точностью оценить показатели эффективности различных вариантов построения системы наблюдений, может повысить надежность и качество принимаемых решений в отношении структуры и параметров создаваемых систем.
100 j
Листинг 1
■■========= НАБЛЮДЕНИЕ 1
Респонденты: {1}{3} Серверы: {2}{3}
Установленный период: 30 00
Ср.время этапа подготовки: 2 00
Ср.время проверок донесений: 1 00
Ср.время итоговой обработки: 1 00
Ср.время цикла взаимодействия 6 49
Ср.время ожидания: 0 00
Проведено всего: 11
Завершено принудительно: 0
# N обсл . Т Общ. Т ср. К загр.
2 47 62.53 1. 33 0.17
3 24 20.80 0. 87 0.06
++++++++++++ СЕРВЕР 3 ++-
Ср.время занятости: 0. . 69
Коэф-т загрузки: 0. .16
:::::::: ЗАГРУЗКА НАБЛЮДЕНИЯМИ :::::::::
# N обсл . Т Общ. т ср. К загр.
0 8 9.48 1. 18 0.03
2 75 48.13 0. 64 0.13
:::::: РЕСПОНДЕНТ 2 :::::::::::::::
Ср.время занятости: 0.52
Коэф-т загрузки всего: 0.16
Коэф-т загрузки наблюдениями: 0.10
ЗАГРУЗКА НАБЛЮДЕНИЯМИ :
# Т ожид. Т обр. К загр.
2 0.02 0.52 0.10
Описок литературы
1. Прокимнов Н. Н. Инфраструктура информационной системы мониторинга экономических процессов // Прикладная информатика. 2009. №3.
2. Гчеденко Б. В., Коваленко И. Н. Введение в теорию массового обслуживания. Изд. 4. М.: ЛКИ, 2007.
3. Емельянов А. А., Власова Е. А., Дума Р. В. Имитационное моделирование экономических процессов. М.: Финансы и статистика, 2009.
4. Прокимнов Н. Н. Об одном приеме имитационного моделирования // Прикладная информатика. 2010. №3.
