CC BY
48
УДК 519.248, 519.87 ББК 22.171
ОПТИМИЗАЦИЯ ФУНКЦИОНАЛА ДОХОДОВ В УПРАВЛЯЕМОЙ СИСТЕМЕ МАССОВОГО ОБСЛУЖИВАНИЯ
Кондрашова Е. В.1
(Московский государственный институт электроники и математики (Технический университет), Москва)
Проводится исследование управляемой марковской системы массового обслуживания Ы/Ы/п*/Ы*. На траекториях управляемого полумарковского процесса строится функционал доходов. Задача состоит в оптимизации функционала доходов. Оптимизация проводится при управлении структурой системы.
Ключевые слова: управляемый полумарковский процесс, стратегия управления, функционал доходов, оптимизация.
1. Введение
В статье производится построение функционала доходов на траекториях управляемого полумарковского процесса при управлении структурой системы. В частности, осуществляется управление двумя параметрами системы. Задача состоит в поиске оптимальной стратегии управления в данной системе массового обслуживания. Предложенный алгоритм исследования также может быть использован для различных систем при управлении как дискретными, так и непрерывными параметрами системы. Результатом исследования функционала является выбор оптимальных стратегий управления для заданной системы.
1 Елизавета Владимировна Кондрашова, аспирантка (elizavetakondr@gmail. com).
Целью теории массового обслуживания является выработка рекомендаций по обеспечению высокой эффективности функционирования системы. Для достижения этой цели ставятся задачи, состоящие в установлении зависимостей эффективности функционирования системы от её организации [4, 5, 6].
Важно отметить, что большой интерес представляет не только исследование стационарных характеристик (вероятность отказа, время пребывания требования в очереди и т.д.), но возможность изменения структуры системы и получениях при этом оптимальных результатов, например, увеличения доходов от работы системы [2, 7].
При разработке математических моделей вводится понятие стратегии. Под стратегией подразумевается правило принятия конкретных решений, т.е. управление системой. Отметим, что повышение эффективности работы системы может быть достигнуто за счёт использования управления. В системе возможно управление длиной очереди, входящим потоком требований, длительностью обслуживания, количеством обслуживающих приборов. Наибольший интерес представляет управление несколькими параметрами системы, т.е. расширение пространства управлений.
Основной целью при изучении управляемых полумарков-ских процессов является нахождение оптимальной стратегии [3]. Считаем, что это стратегия - максимизирующая заданную целевую функцию, и определяем соответствующее максимальное значение.
2. Постановка задачи
Рассмотрим систему М/Ы/п*/Ы* в обозначениях символики Кендалла. Входящий поток пуассоновский с параметром X. Длительность обслуживания распределена экспоненциально с интенсивностью л. Число каналов обслуживания и количество мест для ожидания являются параметрами управления.
Опишем систему более подробно и введём некоторые предположения.
Максимально возможное количество каналов обслуживания п, каждый из которых может одновременно обслуживать только одно требование. Число каналов является параметром управления и может изменяться от 0 до п.
Максимально возможное количество мест для ожидания N. Число мест для ожидания является параметром управления и может изменяться от 0 до N.
Управление осуществляется в специально подобранные моменты времени (моменты ухода требования из системы и моменты поступления требования) и зависит от состояния системы. В каждый момент перехода системы из одного состояния в другое управляем структурой системы: количеством доступных каналов обслуживания и количеством доступных мест для ожидания.
Под состоянием системы понимают пару параметров (1, у), где 1 - число требований, которые находятся на обслуживании,
0 < 1 < п; у - число требований, которые находятся на местах для ожидания (в очереди), 0 < у < N.
Очевидно, что не рационально увеличивать число свободных мест в накопителе больше, чем на одно, так как если в накопителе имеется одно свободное место для ожидания, то в случае поступления требования в систему не может произойти потери этого требования.
В состоянии (0, 0) либо включаем один прибор, либо добавляем одно свободное место для ожидания.
Если в накопителе отсутствуют требования и один канал обслуживания освобождается, тогда число доступных каналов обслуживания уменьшается на единицу.
Если в накопителе есть требования, а один из приборов освобождается, то требование из накопителя переходит на обслуживание. Заявки, находящиеся в очереди, могут быть переданы на обслуживание при добавлении новых каналов обслуживания.
Если в накопителе отсутствуют требования и один канал обслуживания освобождается, тогда число доступных каналов обслуживания уменьшается на единицу. Таким образом, когда один из каналов закончил обслуживание и в накопителе отсут-
ствуют требования, система переходит из состояния (1, 0) в состояние (1 - 1, 0).
Отметим, что управление осуществляется в специально подобранные моменты времени (моменты ухода требования из системы и моменты поступления требования) и зависит от состояния системы. Аналогично, состояние системы, в которое осуществляется переход, зависит от принятого решения.
Задача состоит в поиске оптимальной стратегии управления. Под стратегией подразумевается правило принятия конкретных решений, т.е. управление системой.
3. Алгоритм исследования
Для решения задачи используется следующий алгоритм исследования.
Проводится построение управляемого полумарковского процесса. Для этого следует описать марковские моменты, пространство состояний, пространство управлений, полумар-ковское ядро.
Вычисляются дополнительные характеристики: условные математические ожидания времени непрерывного пребывания процесса в состоянии, условные математические ожидания накопленного дохода за полный период пребывания процесса в состоянии (1, у), стационарные распределения.
Проводится построение функционала накопления. Используется теорема о вычислении функционала доходов для управляемых полумарковских процессов с конечным множеством состояний [1]. Из теоремы о дробно-линейности функционала накопления относительно распределений, определяющих структуру накопления, и теоремы о максимуме дробно-линейного функционала используем основной вывод: оптимальную стратегию можно искать в классе детерминированных стратегий управления [1].
Вычисляется значение показателя качества функционирования
keЕ
где S(i, у) - условные математические ожидания накопленного дохода за полный период пребывания процесса в состоянии (1, у); т(1, у) - условные математические ожидания времени непрерывного пребывания процесса в состоянии (1, у); П(1, у) - стационарные распределения вложенной цепи маркова.
Проводится поиск стратегий, при которых достигается максимальное значение функционала 5”. То есть проводится поиск стратегии для каждого состояния, при которой значение функционала наилучшее.
4. Построение управляемого полумарковского процесса
4.1. МАРКОВСКИЕ МОМЕНТЫ
Марковскими моментами являются моменты прихода требований в систему и моменты окончания обслуживания требования. В марковские моменты принимаются решения. Между двумя соседними состояниями системы может произойти следующее: либо одно требование пришло в систему, либо одно требование покинуло систему.
4.2. МНОЖЕСТВО СОСТОЯНИЙ
Каждое состояние системы может быть описано парой параметров (1, у), где 1 - число требований, которые находятся на обслуживании, 0 < 1 < п; у - число требований, которые находятся на местах для ожидания (в очереди), 0 < у < N.
4.3. МНОЖЕСТВО УПРАВЛЕНИЙ Определим множество управлений.
Возможно управление количеством каналов обслуживания и управление количеством дополнительных мест для ожидания. Принятие решений проводится в марковские моменты.
Пусть множество управлений количеством каналов обслуживания и = {0, 1, ..., и}, где:
0 - принято решение не ставить дополнительного канала обслуживания;
1 - принято решение добавить один дополнительный канал обслуживания;
и - принято решение поставить и дополнительных каналов обслуживания, где 1 < и < п - 1.
Обозначим множество управлений количеством мест для ожидания V = {0, 1}, где:
0 - принято решение не ставить свободного места для ожидания;
1 - принято решение добавить одно свободное место для ожидания.
Отметим, что в каждом состоянии может приниматься решение {и, V}, которое зависит от конкретного состояния системы, переход из состояния в состояние осуществляется только в марковские моменты.
Рассмотрим все возможные случаи принятия решений.
В состоянии (0, 0) в системе нет требований ни на обслуживании, ни в очереди. В данном состоянии можно принять решение о добавлении дополнительного места для ожидания (либо включении прибора/добавлении канала обслуживания). Следовательно, в состояние (0, 0) возможны следующие управления и = {0, 1}, V = {0, 1}. Имеет смысл добавлять только одно место (либо в очередь, либо включать прибор).
В состоянии (1, 0), 0 < 1 < п, в системе нет требований в очереди, на обслуживании находится 1 требований. В данном состоянии можно принять решение о добавлении дополнительных мест для ожидания. Следовательно, в состояние (1, 0) возможны следующие управления и = {0, 1}, V = {0, 1}.
В состоянии (0, у), 0 < у < N, возможны следующие управления и = {0, и}, V = {0, 1}. Причём 0 < и < тт(/, п).
В состоянии (1, у), 0 < 1 < п, 0 < у < Ы, возможны следующие управления и = {0, и}, V = {0, 1}. При этом 0 < и < тт(/, п - 1).
В состоянии (1, ^), 1 < п, и = {0, и}, V = {0}. При этом
0 < и < тт(^ п - 1).
В состоянии (п,у), 0 <у < N и = {0}, V = {0, 1}.
В состоянии (п, N в системе п требований на обслуживании (максимально возможное количество), на местах для ожидания находится N требований (максимально возможное количество), и = {0}, V = {0}.
4.4. ПОЛУМАРКОВСКОЕ ЯДРО
Построим полумарковское ядро для заданной системы. Вероятность поступления требования в систему до момента времени t имеет распределение Пуассона, следовательно, F(t) = 1 - е-и.
Вероятность окончания обслуживания требования на канале обслуживания до момента t имеет экспоненциальное распределение, следовательно, G(t) = 1 - е-ц‘.
Полумарковское ядро Q(i,у)(г,у)(:, и, V) - вероятность перехода системы из состояния (1, у) в состояние (1', у') за время ^ при условии, что в состоянии (1, у) было принято решение (и, V).
Заметим, что множество решений будет зависеть от данного состояния, в котором пребывает система. Чтобы исключить возможность пропуска какого-либо состояния необходимо рассмотреть все возможные состояния системы, включая граничные.
Например, в состоянии (0, 0) возможны следующие управления и(0,0) = {0, 1}, У(0,0) = {0, 1}. Имеет смысл добавлять только одно место (либо в очередь, либо включать прибор).
^0, 0)(0, 1)(^ ° 1) = ^0, 0)(1, 0)(t, 1, 0) = Q(0, 0)(0, 0)(t, ° 0) =
= F(t) = 1 - е-л{
В состоянии (1, у), 0 < 1 < п, 0 < у < N в системе 1 требований на обслуживании, на местах для ожидания находится у требований. Возможны следующие управления:
и у = {0,тт( у, п - г)}, ^1, 0) = {0, 1}, и е и(1, у).
Если u = j, j < n - i, то выполняется:
I
O' + j)v
2
(2) Q(i,J)(i,l)(t,jl) = Q(i,J)(i+J,0)(t,j0) = .+ (.+ ■) (1 -e-'(Л+™):
Л + (i + j )и
(3) Qc/W^j;0) = Q(i,j)(i+j-l,o)(^j-Д) = Y+jr+j— (l-e-'(Л+™).
л + (i + /)я
В остальных случаях выполняется:
Я
C(i, j)(i, j-u+1)(t ’ u,1) Q(i,j)(i+u,j-u)
(4) ^(i,j)(i,j-u+1)(t,u,l) = Qjj(Uu,°) = .+ ( ) (1 - e-t(-(u+^),
Я + (i + u)^
б(ШЛ)(',u,0) = e(i,j)(i+u,j-u-i)(t,u,1) = (i + ^ (1 -e-(я+('+“^).
Я + (i + u)^
Заметим, что случаи состояний (0, j), (n, j), (i, N), (n, N) описываются формулами для случая (i, j), учитывая множество управлений для каждого конкретного состояния.
5. Построение функционала доходов
Для построения функционала доходов необходимо вычислить дополнительные характеристики: условные математические ожидания времени непрерывного пребывания процесса в состоянии, условные математические ожидания накопленного дохода за полный период пребывания процесса в состоянии (i, j), стационарные распределения.
Для построения условного математического ожидания накопленного дохода Rit;)(г,y)(t, u, v) за весь период при условии, что процесс пребывает в состоянии (i, j) и через время t перейдёт в состояние (i’,j') и в состоянии (i,j) было принято решение {u, v} введём константы, характеризующие доходы и расходы системы:
c1 - доход от обслуживания одного требования;
-с2 - плата за единицу времени на обслуживание одного требования на канале обслуживания;
—с3 - плата за единицу времени на обслуживание одного требования на месте для ожидания (в очереди);
-с4 - расход в единицу времени за неиспользуемое место для ожидания;
-с5 - плата за одно потерянное требование;
-с6 - расход в единицу времени на обслуживание канала работающего вхолостую (без обслуживания требования).
Вычисляются математические ожидания накопленного эффекта R(i,у)(г,у'(у, и, V) для всех пар состояний: (0, у), (п, у), (1, К), (п, Ы), (1, у), (1, 0) и всех возможных пар решений, принимаемых в данном состоянии.
Пример математического ожидания накопленного дохода при пребывании процесса в состоянии (1, 0):
(5) R(i,0)(i-1,0) 0,0,1) = — (с2/ + с4 )/ + С1 ;
(6) R(i■,0)(i■—1,0) О,0,0) = —с2// + С1 ;
(7) R(i■,0)(i■,1) ОАО = — (с21 + С4 X ;
(8) R(i■>0)(i■,0) 0,0,0) = с2/'/ — с5 .
Математическое ожидание накопленного дохода при пребывании процесса в состоянии (п, у):
(9) К(п,у)(п,у) &0,0) = (С2п + С3УК — С5 ;
( 10) К(п,у)(п,у+1) ОА1) = (С2п + С3 У + С4 У ;
(11) К(п,у)(п,у—1) (/,0,0) = (С2п + С3УХ + С1 ;
(12) К(п, у)(п, у—цОА1 = (с2п + С3 У + С4)? + С1 .
Подсчёт т(1, у) - математического ожидания времени непрерывного пребывания процесса в состоянии (1, у) проводится также для всех состояний: (0, у), (п, у), (1, Ю, (п, Ю, (1, у), (1, 0), учитывая все возможные переходы:
(13) т,у =|
1 — X QuJ»■,/l(')
'(■ ('", у")еЕ
.
Учитывая, что максимум функционала доходов достигается на множестве вырожденных распределений, оптимальную стратегию можно искать в классе детерминированных стратегий управления, а значит, возможно вычисление характеристик при подстановке вырожденных распределений:
(14) V) = /
1 — X X V}) №]
('",/)е£
dt :
где - вероятность, что в состоянии (1, у) принято решение (и, V).
Например, в состоянии (1, у), 0 < 1 < п, 0 < у' < N если и = у, у < п - 1, выполняется
(15) т(г, у)( У,0) = . + (.1+ у) >
А +(г + у)Я
(16) т.,у)(у,1) =. + ' у) ;
А + (г + у)Я
в остальных случаях выполняется:
(17) т(1-,у)(и,0) =. + * ) ;
А + (/ + и)^
(18) т(.,у )(и,1) = . + ( 1+ ) •
А + (г + и)^
Для вычисления величины S(i, у) - математических ожиданий накопленного дохода за полный период пребывания процесса в состоянии (1 , у) используем:
і
(19) Я«,уV}) = X |^у)(,,Л(Х,{м,У})^(і у)(,,Х,{М,V» +
(і,У)е£ О
ОТ
X I ^,;)(0")(х> {и ^'Ша/)(ал ({и v}) ’
(і,і')є£ і
У]
% у)(t) = X % у )№V}) Ри,
и ,У
Рассматриваем
s(ij)(u,V) = lim50. )^,{и,V}).
t » да
Учитывая, что максимум дробно-линейного функционала достигается на множестве вырожденных распределений, можем записать вид S(i, у) при подстановке вырожденных распределений, а именно:
да
(20) s(ІJ)(u,v) = X |R,J)(,,/)(x,{u[i,j],V™}).
(Г,/)еЕ 0
В состоянии (г , 0) получаем следующие выражения:
(21) Я(.0)(0,1) = — + С1г>— С 4
г л + А
(22) 5(, 0) (0,0) = — с2г + с1гл— С5А .
А + г л
Подсчёты проводятся для всех пар состояний: (0, у), (п, у), (г, ^, (п, ^, (г, у), (г, 0) и всех возможных пар решений, принимаемых в каждом состоянии.
Стационарные вероятности вложенной цепи Маркова определяются из уравнений:
(23) К(!,П = XЖ(i,у■)Р(У',/) ,
(г, у')еЕ
(24) X*™ = Ь
(г", у")еЕ
где РЦМ1,/) = 11Ш Q(i,му^М,V}).
t-->да
Для получения стационарных вероятностей надо найти решение систем для всех возможно управлений. Например, в системе М/М/2*/1* возможны следующие состояния: (0, 0), (0, 1), (1, 0), (1, 1), (2, 0), (2, 1).
Множество решений для каждого состояния можно определить следующим образом. В состоянии (0, 0) возможны решения (0, 0), (0, 1), (1, 0); в состоянии (0, 1) возможны решения (1, 1), (1, 0); в состоянии (1, 0) возможны решения (0, 0), (0, 1); в состоянии (1, 1) возможны решения (1, 0), (1, 1); в состоянии (2, 0) возможны решения (0, 0), (0, 1); в состоянии (2, 1) возможно решение (0, 0).
Тогда один из векторов стратегий для данной системы может выглядеть следующим образом: ((0, 1); (1, 1); (0, 1); (1, 1); (0, 1); (0, 0)). При данных фиксированных стратегиях проводятся вычислениях всех характеристик и 5”. Рассматриваются все возможные векторы стратегий и выбирается оптимальная, доставляющая максимум функционалу накопления (1).
Вышеизложенные вычисления могут быть автоматизированы, учитывая приведённый алгоритм.
Поиск максимума функционала доходов 5 осуществляется на вырожденных распределениях. Так как пространство управ-
лений конечно, и множество состояний конечно, то поиск оптимальных стратегий сводится к перебору всех возможных пар решений в каждом состоянии системы.
Выбор пары оптимальных решений в каждом состоянии определяет наиболее эффективную работу системы.
Как было отмечено, можно управлять и непрерывными параметрами системы. Например, было проведено исследование МЮ*/1/№ [8] с управлением длительностью обслуживания и структурой системы. Числовые примеры показывают, что расширение управления приводит к более эффективным результатам.
6. Заключение
Использование управляемых полумарковских процессов позволяет оптимизировать получаемый от системы доход, учитывая все доходы и расходы, которые имеют место в течение работы системы.
Дополнительно полученные за счёт рационального управления средства могут быть вложены в модернизацию оборудования, расширение областей производства и обслуживания, их улучшения и так далее. Аналогично можно оптимизировать системы массового обслуживания, используя как управления дискретными, так и непрерывными параметрами системы.
Литература
1. КАШТАНОВ В.А., МЕДВЕДЕВ А.И. Теория надёжности сложных систем (теория и практика). - М: «Европейский центр по качеству», 2002.
2. КОНДРАШОВА Е.В. Алгоритмизация исследования качества работы системы массового обслуживания // «Качество. Инновации. Образование». - 2011. - №8. -С.40-46.
3. МАЙН Х., ОСАКИ С. Марковские процессы принятия решений. - М: Главная редакция физико-математической литературы издательства «Наука», 1977.
4. BANIK A.D. Queueing analysis and optimal control of BMAP/G(a,b)/1/N and BMAP/MSP(a,b)/1/N systems // Computers &Industrial Engineering. - 2009. - No. 57. - P. 748-761.
5. BELLMAN R.A. Markovian Decision Process // J. Math. and Mech. - 1957. - No. 6. - P. 679.
6. JEWELL W.S. Markov-renewal programming // Operation Res. - 1967. - No. 11. - P. 938-971.
7. KASHTANOV V.A. Controlled semi-markov processes in modeling of the reliability and redundancy maintenance of queueing systems // Computer Modelling and New Technologies. - 2010. - Vol. 14, No. 1. - P. 26-30.
8. KASHTANOV V.A., KONDRASHOVA E.V. Controlled semi-markov queueing model // Proceedings of Third International Conference on Accelerated Life testing, Reliability-based Analysis and Design, Clermont-Ferrand, France, 2010. - P. 243-248.
OPTIMIZING INCOME FUNCTION IN CONTROLLED MARKOV QUEUEING MODEL
Elizaveta Kondrashova, Moscow State Institute of electronics and mathematics, Moscow, post-graduate student, (elizaveta-kondr@gmail. com).
Abstract: The controlled Markov queuing model M/M/n*/N* is studied. The income functional is being constructed on the trajectories of the controlled semi-markov process. The main problem is to optimize the income functional by adjusting the structure of the system.
Keywords: semi-markov controlled process, control strategy, income functional, optimization.
Статья представлена к публикации членом редакционной коллегии А. С. Манделем
