CC BY
251
ФИЗИКО-МАТЕМАТИЧЕСКИЕ МЕТОДЫ И МОДЕЛИ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА СЛОЖНЫХ СИСТЕМ
УДК 621.396.6
СТРАТЕГИЯ ТЕХНИЧЕСКОГО ОБСЛУЖИВАНИЯ НА ОСНОВЕ ПОЛУМАРКОВСКИХ ПРОЦЕССОВ С КОНЕЧНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ
^________
В. А. Каштанов
Введение
Объектом исследования являются управляемые полумарковские процессы (УПМП) с конечным множеством состояний, которые находят широкие приложения в практических задачах. Примерами могут служить задачи оптимизации технического обслуживания, рассматриваемые в теории надежности, задачи управления системами массового обслуживания.
В прикладном аспекте задачи выбора оптимальной стратегии технического обслуживания (управляемые модели надежности) ставились давно и в настоящее время излагаются в учебниках и учебных пособиях (монографии и учебники на русском языке) [1-5].
В теоретическом аспекте задачи математической теории надежности могут быть сформулированы как задачи управления некоторым случайным процессом. Подробная постановка изложена в [6].
Модель сводится к следующему:
- объект управления - случайный процесс, так как эволюция технической системы происходит во времени в условиях стохастической неопределенности;
- проведение восстановительных работ - это управление процессом функционирования (когда и какие восстановительные работы проводить);
- цель управления - получить наибольший эффект (максимальную эффективность) от эксплуатации (функционирования) этой системы.
Аналогичная постановка для моделей массового обслуживания:
- объект управления - случайный процесс, описывающий эволюцию СМО во времени;
- управление процессом функционирования СМО можно осуществлять, меняя либо входящий поток требований, либо выбор распределений длительности обслуживания, либо меняя структуру СМО;
- цель управления - получить набольший эффект (максимальную эффективность) от функционирования этой системы массового обслуживания.
Для моделей массового обслуживания и для моделей надежности задача сводится к оптимизации целевого функционала, определению класса распределений, на которых достигается его экстремум.
Теория полумарковских процессов и их приложения изложена в ряде монографий [7-9].
Как известно однородный полумарковский процесс задается начальным распределением вероятностей состояний и однородным полумарковским ядром QjJ (^, и), где состояния
/, у е Е, Е - конечное множество состояний, параметр t определяет время, t е [0, го), и е и, и -множество управлений с а -алгеброй В, и вероятностными мерами О1 (А), j е Е, определенными на элементах а-алгебры В, АеВ. Множество описанных вероятностных мер определяет множество управлений. Полумарковское ядро QjJ (^, и) определяется как условная вероятность того, что
переход случайного процесса произойдет до момента t в состояние у при условии, что процесс стартовал из состояния j и принято решение и. Заметим, однородность означает независимость полумарковского ядра ни от номера перехода, ни от момента старта.
При постановке задачи управления на траекториях УПМП необходимо построить функционал, определяющий качество управления. Для построения этого функционала задаются функции Яу (^, и), /', у е Е, t е [0, го), и е и, которые определяются как математическое ожидание накопленного эффекта за время t при условии, что процесс пребывает в состоянии j , переходит в момент t в состояние у и принято решение и [10]. Такое определение функций Яу (¿, и) дает возможность
исследовать практические модели, в которых УПМП является вложенным в некоторый более сложный случайный процесс, описывающий физическую эволюцию рассматриваемой системы. Другими словами, УПМП между соседними марковскими моментами не меняет своего значения, а случайный процесс, описывающий физическую эволюцию рассматриваемой системы, изменяется. Коль скоро накопленный эффект зависит от случайного процесса, описывающего физическую эволюцию, то, естественно, ввести в рассмотрение математические ожидания Яу (^, и). Накопленный
эффект на периодах между соседними марковскими моментами изменения состояний УПМП суммируется. Качество управления характеризуется математическим ожиданием Sj (/) накопленного эффекта за время (0, ¿) при условии, что в нулевой момент времени УПМП стартует из состояния j.
Задача управления
При постановке и решении задачи управления возникают следующие математические проблемы:
- построение асимптотического разложения функционала Sj (/) при t ^го в зависимости от свойств полумарковского процесса, в частности, от свойств вложенной цепи Маркова;
- исследование структуры функционала ^ (/) относительно вероятностных мер 0- (А), определяющих в рассматриваемой модели марковскую однородную рандомизированную стратегию управления;
- определение класса распределений, на которых достигается экстремум целевого функционала.
При фиксированном наборе вероятностных мер 0- (А), j е Е (фиксирована стратегия управления) имеем фиксированный УПМП, при постановке задачи оптимизации нужно задать множество стратегий управления (множество наборов вероятностных мер). Определяем множество воз-
^ ^ М
можных стратегий условиями Ц е й 1- , j е Е, или О е Пйк = й , где О(АЪ А2, ..., Ап ) = П° (Ак ).
к=1 к=1
Предполагается, что множество й является множеством допустимых стратегий управления, для которых исследуемые функционалы существуют. Таким образом, получаем множество допустимых стратегий управления и, следовательно, множество возможных УПМП. Математическая задача состоит в определении такой стратегии из множества й (такого УПМП), для которой значение целевого функционала принимает экстремальное значение (минимум или максимум).
Предельное поведение функционалов, построенных на траекториях УПМП, исследовано в ряде работ [11-13].
В случае, когда вложенная цепь эргодическая, математическое ожидание построенного функционала при t ^го ведет себя как линейная функция Sj (/) = St + о(/).
В случае, когда вложенная цепь поглощающаяся, математическое ожидание построенного функционала при t стремится к константе S. Аналогичный результат справедлив при исследовании функционала с переоценкой [13].
Коэффициент при линейном члене в случае эргодической цепи и предельное значение функционалов в других случаях определяют значения целевых функционалов, которые исследуются на экстремум.
Вторая проблема, относящаяся к выяснению зависимости целевого функционала от распределений, определяющих стратегию управления, освещена в ряде работ [10, 12].
Приведем результат, определяющий структуру целевого функционала.
Теорема [12]. Для управляемого полумарковского процесса с конечным множеством состояний Е = {1, 2, ..., Щ целевой функционал S является дробно-линейным функционалом
Управление при полной информации о характеристиках управляемого процесса
В рассматриваемом случае поиск оптимальной стратегии управления сводится к исследованию на экстремум (максимум или минимум) дробно-линейного функционала в классе допустимых стратегий управления и к определению распределений, на которых достигается искомый экстремум. Решение этой проблемы для дробно-линейного функционала сводится к линейному случаю, поскольку справедливо следующее утверждение.
Лемма [10, 14]. Если существует максимум дробно-линейного функционала (1) по некоторому множеству распределений й, 0- ей, j е Е, то множество распределений, на котором достигается этот максимум, совпадает с множеством, на котором достигается максимум специально подобранного линейного функционала
Таким образом, исследование можно свести к более простому линейному случаю. Однако, исследуя линейный функционал, нельзя получить функцию, на которой достигается экстремум дробно-линейного функционала, поскольку, как правило, исследователю неизвестно значение максимума с. Поэтому определяют только структуру распределения, на котором достигается экстремум линейного функционала.
Приведем здесь некоторые результаты.
Теорема [10]. Пусть й множество допустимых вероятностных распределений содержит вырожденные распределения. Если существует максимум дробно-линейного функционала (1) по множеству й , то он достигается на вырожденных распределениях.
Эта теорема позволяет утверждать, что если множеству допустимых стратегий управления принадлежат все вырожденные стратегии, то введение рандомизации не улучшает качества
управления. Кроме того, задача поиска максимума S(О) по функциональному пространству й
сводится к задаче поиска максимума функции многих переменных, так как
S (О) = =-----
I В(и)О(ёи)
и(Щ)
(1)
^ N
относительно вероятностных мер О(А^ А2,..., Ап) = ПОк(А), определяющих марковскую од-
к=1
нородную рандомизированную стратегию, и(Щ) - прямое произведение пространства и, АкеВ.
= maxGjей
[ | А(и)О(ёи) - с | В(и )О(ёи)] = 0
•2> •••> “Щ
■2’---’ иЩ
иЩ )
ищ )
Для случая, когда в множестве, по которому берется экстремум, нет детерминированных стратегий, характер экстремальной функции определяет следующая теорема (сформулируем ее для одномерного случая).
Теорема [15]. Если существует экстремум дробно-линейного функционала
+гс>
J A(u)G(du)
S (G) = -^---------- по множеству распределений G(u), удовлетворяющих условиям
J B(u)G(du)
G1 (u) < G(u) < G2 (u), то он достигается на распределении, которое либо совпадает с границами, либо постоянно, либо имеет скачок.
В частности, справедлива теорема.
Теорема [16]. Если существует экстремум дробно-линейного функционала по множеству функций распределения G е Q(n, у, я), которые в заданных точках у = (у1, У2,..., Уп) принимают заданные значения, G(yi) = ni, то он достигается на распределениях, которые имеют одну точку роста в каждом интервале [yi, yi +1).
Управление при неполной информации о характеристиках управляемого процесса
В практических задачах исходные данные, определяющие в модели полумарковское ядро, точно не известны, потому что они находятся на основе имеющейся статистической информации. Например, в задачах надежности необходимо знать распределения времен безотказной работы системы в целом или ее отдельных частей. А фактически по результатам статистических испытаний на надежность строятся оценки характеристик безотказности технической системы: эмпирическая функция распределения или доверительный интервал для распределения, точечные оценки значений функции распределения в отдельных точках, точечная оценка для математического ожидания, дисперсии и другие моменты более высокого порядка, доверительные интервалы для неизвестных параметров и характеристик. Аналогичные замечания можно сделать относительно характеристик, определяющих свойства моделей массового обслуживания: распределение интервалом между соседними моментами поступления требований в систему, распределение времени обслуживания.
В этой ситуации можно говорить, что исходные распределения принадлежат некоторому множеству распределений. Так как полумарковское ядро зависит от исходных распределений, то в силу этого обстоятельства нельзя однозначно определить исходный процесс, и, следовательно, имеем не один УПМП при фиксированной стратегии, а множество возможных процессов, одним из которых мы должны управлять.
В описанной ситуации для решения задачи используется принцип максимина: для наихудшего случайного процесса из заданного множества определяется оптимальная стратегия управления [1, 15-18].
Математическая постановка задачи сводится к предположениям: для каждого состояния i е E множество решений Ui есть прямое произведение двух множеств U(1), U(2) и для любого состояния iеЕ имеем u = (uj, u2), uk е U(k), к = 1, 2; стратегия в состоянии i задается совместными распределениями Gt(A!, A2). Задача оптимизации сводится к поиску условных распределений (в случае зависимого характера принятия решений) и поиску безусловных распределений (в случае независимого характера принятия решений), на которых достигается максимин целевого функционала.
Если решения принимаются независимо, то Gi (A1, A2) = G(1)(A1)G(2\A2), а математическая задача сводится к поиску максимина и определению распределений, на которых он достигается, т.е.
maxGil)ea(1) minS(G,(1), G(2), i е E) = S(F?\ F^, i е E).
Функции Е*'1'*, j е Е определяют максиминную стратегию. Если в условиях сформулированной неопределенности принять эту стратегию управления, то гарантировано получение эффективности величины £(Е®, Е(2), j е Е), т.е. в реальной ситуации эффективность не может быть меньше. Если же отказаться от максиминной стратегии, то эффективность управления может быть меньше указанной величины.
При последовательном решении задачи поиска максимина для исследования внутреннего экстремума могут быть использованы приведенные выше теоремы о структуре экстремальных распределений. Однако при исследовании внешнего экстремума их использовать нельзя, поскольку меняется структура функционала, для которого определяется внешний экстремум. В [16] формулируются достаточные условия независимости экстремального распределения для внутреннего экстремума от распределений, по которым берется внутренний экстремум.
Теорема [16]. Если множество распределений, по которому берется внутренний экстремум, имеет мажорирующее распределение, функция А(и1, и2) не возрастает, функция В(и1, и2 ) не убывает по и2 при любом и1, тогда
+гс>
| А(и1, и2)О(ёи1)Е(ёи2)
I (О, Е) = ^---------------------< I (О, Е *).
| В(и1, и2)О(ёи1)Е(ёи2)
Если независимо от распределения О внутренний экстремум достигается на мажорирующем распределении, то внешний экстремум определяется для дробно-линейного функционала, следовательно, работают сформулированные выше теоремы.
Заключение
Таким образом, процессы с конечным множеством состояний, характерные для задач выбора оптимальной стратегии технического обслуживания, сводятся к задаче оптимизации целевого функционала.
Список литературы
1. Барлоу, Р. Математическая теория надежности : пер. с англ. / Р. Барлоу, Ф. Прошан ; под ред. Б. В. Гнеденко. - М. : Советское радио, 1969. - 488 с.
2. Барзилович, Е. Ю. Некоторые математические вопросы теории обслуживания сложных систем / Е. Ю. Барзилович, В. А. Каштанов. - М. : Советское радио, 1971. - 272 с.
3. Байхельт, Ф. Надежность и техническое обслуживание (математический подход) / Ф. Байхельт, П. Франкен. - М. : Радио и связь, 1988. - 392 с.
4. Герцбах, И. Теория надежности (с приложениями к профилактическому обслуживанию) / И. Герцбах. -М. : Нефть и газ (Изд-во РГУ нефти и газа им. И. М. Губкина), 2003. - 263 с.
5. Каштанов, В. А. Теория надежности сложных систем : учеб. пособие / В. А. Каштанов, А. И. Медведев. -М. : Физматлит, 2010. - 608 с.
6. Каштанов, В. А. Общие принципы постановки и решения проблемы технического обслуживания сложных систем / В. А. Каштанов // Надежность. - 2002. - № 2. - С. 47-56.
7. Королюк, В. С. ПМП и их приложения / В. С. Королюк, А. Ф. Турбин. - Киев : Наукова думка, 1982. -236 с.
8. Сильвестров, Д. С. Полумарковские процессы с дискретным множеством состояний / Д. С. Сильвестров. - М. : Советское радио, 1980. - 272 с.
9. Королюк, В. С. Процессы марковского восстановления в задачах надежности систем / В. С. Королюк, А. Ф. Турбин. - Киев : Наукова думка, 1982. - 236 с.
10. Вопросы математической теории надежности / Е. Ю. Барзилович, Ю. К. Беляев, В. А. Каштанов [и др.] ; под ред. Б. В. Гнеденко. - М. : Радио и связь, 1983. - 376 с.
11. Джевелл, В. С. Управляемые полумарковские процессы / В. С. Джевелл // Кибернетический сборник. -М. : Мир, 1967. - Вып. 4. - 162 с.
12. Каштанов, В. А. Об одном классе оптимальных дискретных управлений ПМП / В. А. Каштанов // Некоторые теоретические и прикладные вопросы теории вероятностей : тр. МИЭМ. - М., 1975. -Вып. 44. - С. 251-258.
13. Майн, Х. Марковские процессы принятия решений / Х. Майн, С. Осаки. - М. : Физматгиз, 1977. -176 с.
14. Kashtanov, V. A. Discrete distributions in control problems (Дискретные распределения в задачах управления) // Probabilistic methods in discrete mathematics : Proceedings of the Fourth International Petrozavodsk Conference. - VSP, Utrecht, The Netherlands, 1997. - P. 267-274.
15. Барзилович, Е. Ю. О минимаксных критериях в задачах надежности / Е. Ю. Барзилович, В. А. Каштанов, И. Н. Коваленко // Известия АН СССР. Техническая кибернетика. - 1971. - № 3. - С. 367-373.
16. Барзилович, Е. Ю. Организация обслуживания при ограниченной информации о надежности / Е. Ю. Барзилович, В. А. Каштанов. - М. : Советское радио, 1975. - 136 с.
17. Карманов, А. В. Исследование управляемых конечных марковских цепей с неполной информацией. Минимаксный подход / А. В. Карманов. - М. : Физматлит, 2002. - 176 с.
18. Голодников, А. Н. Определение оптимального периода предупредительной замены на основе информации о математическом ожидании и дисперсии времени безотказной работы системы / А. Н. Голод-ников, Л. С. Стойкова // Известия АН УССР. Кибернетика. - 1978. - № 3. - С. 67-74.
УДК 621.396.6 Каштанов, В. А.
Стратегия технического обслуживания на основе полумарковских процессов с конечным множеством состояний / В. А. Каштанов // Надежность и качество сложных систем. - 2013. - № 1. - С. 41-46.
Каштанов Виктор Алексеевич доктор технических наук, профессор, кафедра высшей математики,
Московский институт электроники и математикики Национального исследовательского университета «Высшая школа экономики» («МИЭМ» НИУ ВШЭ) 109028, г. Москва, Б. Трехсвятительский пер., 3.
(495) 916-88-13
E-mail: [email protected]
Аннотация. Исследуются управляемые полумарковские процессы с конечным множеством состояний, характерные для задач выбора оптимальной стратегии технического обслуживания (управляемые модели надежности, задачи управления некоторым случайным процессом, системы массового обслуживания и др.), которые сводятся к задаче оптимизации целевого функционала. Проводится поиск оптимальной стратегии управления.
Ключевые слова: управление, процесс, модель, надежность, система, массовое обслуживание, целевой функционал.
V. Kashtanov
doctor of technical science, professor, chair of higher mathematics,
MIEM NIU VSE
109028, Moscaw, Large Trekhsvyatitelskiy, 3.
(495) 916-88-13
E-mail: [email protected]
Abstract. Managed polumarkovskie processes are investigated with the final set of conditions specific to the tasks of identifying the optimal strategies of maintenance (managed reliability models, some management tasks in a random process, queueing systems, etc.), which are confined to the task of optimizing the target functionality. Searches for the optimum management strategy.
Key words: management, process model, reliability, system, massive room, target functionality.
