CC BY
85
УДК 004.457+004.031.2+004.382.2 Дата подачи статьи: 13.07.18
DOI: 10.15827/0236-235X.031.3.461-468 2018. Т. 31. № 3. С. 461-468
Применение метода английского аукциона при планировании заданий с абсолютными приоритетами в распределенной вычислительной системе
A.В. Баранов 1, к.т.н, доцент, ведущий научный сотрудник, [email protected], [email protected]
B.В. Молоканов 2, студент, [email protected]
П.Н. Телегин 1, к.т.н, ведущий научный сотрудник, [email protected] А.И. Тихомиров 1, младший научный сотрудник, [email protected]
1 Межведомственный суперкомпьютерный центр РАН, г. Москва, 119991, Россия
2 Московский физико-технический институт (государственный университет), г. Москва, 11 7303, Россия
В статье рассматривается задача планирования заданий с абсолютными приоритетами в территориально распределенной вычислительной среде, для решения которой могут быть эффективно применены аукционные методы. В большинстве современных работ по этой тематике используется рыночная модель, в которой предметом аукционных торгов (товаром) выступают вычислительные ресурсы, а продавцами - их владельцы. Покупателями являются пользователи, участвующие в аукционе с целью приобретения вычислительных ресурсов для выполнения своих заданий. Продавцы стремятся получить максимальную прибыль, покупатели выполнить свои задания с наименьшими затратами. Подобная модель предполагает наличие у пользователей-покупателей определенных бюджетов в условных или реальных деньгах, при этом приоритет задания фактически определяется той ценой, которую пользователь готов заплатить за выполнение задания к определенному сроку на выставленных на торги вычислительных ресурсах.
Исследуемая авторами модель территориально распределенной вычислительной среды отличается от известных тем, что приоритеты заданий являются абсолютными и назначаются по единым правилам. Главная цель - скорейшее выполнение высокоприоритетных заданий. В этом случае теряет смысл понятие бюджета пользователя, и классические аукционные модели перестают работать. Авторы предлагают новый подход, при котором предметом аукционных торгов становятся задания, а владельцы ресурсов выступают в роли покупателей, расплачивающихся за задания имеющимися в наличии свободными вычислительными ресурсами. При таком подходе авторы рассматривают английский аукцион как наиболее предпочтительный метод планирования в территориально распределенной вычислительной среде заданий с абсолютными приоритетами.
Главной характеристикой алгоритма планирования, основанного на методе английского аукциона, становится длительность проведения торгов (продолжительность аукциона). В статье приведены результаты экспериментов по определению оптимальной продолжительности английского аукциона по отношению к среднему времени обработки задания.
Ключевые слова: высокопроизводительные вычисления, распределенные вычислительные системы, планирование параллельных заданий, абсолютные приоритеты, экономические модели планирования, английский аукцион, продолжительность аукциона.
Стратегия научно-технологического развития Российской Федерации предусматривает развитие и поддержку функционирования центров коллективного пользования (ЦКП) научно-технологическим оборудованием, к которым относятся суперкомпьютерные научные центры (СКЦ). Одной из устойчивых тенденций развития последних является объединение их вычислительных ресурсов в единую территориально распределенную систему (ТРС) с целью повышения эффективности использования вычислительных ресурсов СКЦ и увеличения значений индикаторных показателей (http:// government.ru/docs/23110/). Активные работы над проектом единой распределенной сети научных суперкомпьютерных центров в настоящее время ведутся в Межведомственном суперкомпьютерном центре РАН [1]. В качестве единицы ресурса, подключаемой к ТРС, в проекте рассматривается вычислительная установка (ВУ), представляющая собой, как правило, отдельный высокопроизводительный вычислительный кластер (суперкомпью-
тер). Важно отметить, что обычно в состав ТРС входят ВУ различной вычислительной мощности, объединенные коммуникационными каналами различной пропускной способности.
Единицей обработки информации в ТРС служит вычислительное задание, под которым понимается набор, включающий входные данные, программу их обработки и ресурсные требования: количество процессоров (ядер), объем оперативной памяти и дискового пространства, заказанное время выполнения задания и др.
Каждая ВУ из состава ТРС находится под управлением локальной системы управления ресурсами (ЛСУР), в качестве которой могут выступать такие распространенные системы, как PBS [2], SLURM [3], Moab [4], или отечественная Система управления прохождением параллельных заданий (СУППЗ) [5]. Основными функциями ЛСУР являются ведение очереди вычислительных заданий, их планирование, запуск и контроль процесса выполнения на вычислительных ресурсах отдельной ВУ.
Важнейшей отличительной характеристикой рассматриваемой модели ТРС является наличие единой для всех ВУ системы абсолютных приоритетов, предполагающей немедленное вытеснение с выполнения низкоприоритетных заданий при поступлении в очередь заданий с более высоким приоритетом. Приостановленное задание сохраняет промежуточные результаты выполнения и вытесняется в очередь. Все прерванные задания продолжают свое выполнение после того, как вычислительные ресурсы вновь станут свободными.
Различные задания от разных пользователей образуют один или несколько потоков. В каждой ВУ присутствует как минимум один локальный поток заданий, которые допускают обработку только на локальных вычислительных ресурсах и не могут быть переданы на другие ВУ ТРС (рис. 1).
Задания глобального потока, напротив, могут быть переданы для обработки в любую из ВУ ТРС. Управлением на этом уровне занимается глобальная система управления ресурсами (ГСУР). В предшествующих работах авторы остановили выбор на децентрализованной схеме управления, предполагающей отсутствие единого центра управления и планирования вычислительных заданий. Децентрализованное управление основано на совместной согласованной работе коллектива равноправных диспетчеров (рис. 2), располагающихся локально на всех ВУ ТРС. В работе [6] авторы рассмотрели варианты организации глобальной очереди заданий ГСУР и остановили свой выбор на докумен-то-ориентированной распределенной СУБД Е1аБ-йсБеатсИ [7] - логически централизованном хранилище информации, обеспечивающим, с одной стороны, симметричный доступ к глобальной очереди от всех диспетчеров ТРС, с другой - надежное распределенное хранение информации в условиях динамически изменяющегося состава ТРС (ВУ мо-
гут отключаться или подключаться к ТРС в произвольные моменты времени).
В процессе функционирования диспетчеры вычислительных установок независимо друг от друга обращаются к распределенной СУБД с запросами о состоянии глобальной очереди. Просматривая глобальную очередь, диспетчеры производят выборку заданий для своей ВУ, причем выборка производится в соответствии с критериями, определяемыми дисциплиной и алгоритмами планирования заданий. Выбранное диспетчером из глобальной очереди задание помещается им в ЛСУР своей ВУ, после чего на эту ВУ осуществляется копирование исходных данных задания.
Обратим внимание на тот факт, что в условиях абсолютных приоритетов заданий в глобальную очередь имеет смысл помещать задания с высоким приоритетом. В этом случае выбранные диспетчерами задания глобальной очереди, попадая в ЛСУР, должны либо сразу поступать на выполнение, либо занимать места в начале очереди. В такой постановке в качестве основного показателя качества планирования заданий глобальной очереди целесообразно рассматривать среднее время T обработки задания в соответствии с уровнем приоритета [8]. В этом контексте основными задачами, решаемыми авторами, являются исследование и разработка методов и алгоритмов планирования заданий глобальной очереди, обеспечивающих минимальное среднее время обработки высокоприоритетных заданий.
Применение метода английского аукциона
при планировании заданий с абсолютными приоритетами в ТРС
Известно, что при планировании вычислительных заданий в грид-средах и ТРС могут быть эф-
Локальный поток заданий
Рис. 1. Модель территориально распределенной вычислительной системы Fig. 1. Model of a geographically distributed computing system
Сервер хранения глобальной очереди заданий
Глобальный поток заданий
Документо-ориентированная распределенная СУБД Elasticsearch
Глобальная очередь заданий
СКЦ1
Диспетчер
Локальные потоки заданий
СКЦ2
Диспетчер
ЛСУР
№
Исходные данные заданий
Исходные данные заданий
Рис. 2. Схема взаимодействия диспетчеров ТРС Fig. 2. Interaction scheme of GDS dispatchers
фективно применены аукционные методы [9, 10]. Обязательным требованием любого аукционного метода является наличие в системе предмета торгов (товара) и нескольких ролей: продавца и покупателя. В классическом случае продавцами выступают владельцы вычислительных ресурсов, а покупателями - пользователи, участвующие в аукционе с целью приобретения вычислительных ресурсов для выполнения своих заданий.
Выставляя вычислительные ресурсы на аукцион, каждый продавец стремится, с одной стороны, минимизировать простой вычислительных ресурсов, с другой стороны, извлечь максимальную прибыль от их продажи.
Все покупатели преследуют сложную цель: с одной стороны, они хотят минимизировать затраты на приобретение вычислительных ресурсов, с другой - обработать свои вычислительные задания как можно быстрее [11]. Стремясь найти компромиссное решение из этих двух противоречивых требований, пользователь может как повышать свою ставку (цену, которую он готов заплатить за вычислительные ресурсы), так и понижать ее. Выгода пользователя определяется следующим образом. Для каждого вычислительного задания пользователь заранее определяет бюджет - максимальную цену, которую он готов заплатить за обработку задания. Увеличивая цену, пользователь может разместить задание на ВУ с более производительными
вычислительными ресурсами или на менее производительной ВУ, но при этом продвинуть задание в очереди. Один и тот же вычислительный ресурс может представлять интерес для нескольких покупателей, поэтому между ними возникает конкуренция, которая позволяет обеспечить максимальную прибыль продавцу.
Аукционные методы эффективны, когда товар уникален, имеется в ограниченном количестве (всего несколько штук) или когда точно неизвестно число участников (потенциальных покупателей), готовых купить его. В этом случае допускается, что цена товара заранее может быть не установлена и будет определена в процессе проведения аукциона на основе ставок участников. Ставка - это цена, которую готов заплатить участник за товар. В процессе проведения аукциона ставки всех участников поступают аукционисту, который ранжирует их и выявляет победителя аукциона. Победитель определяется в зависимости от используемой модели аукциона. В рассматриваемой авторами децентрализованной схеме управления ТРС в роли покупателей, продавцов и аукционистов выступают диспетчеры ВУ, причем каждый диспетчер в зависимости от текущей ситуации может выступать в любой из ролей.
В исследуемой модели ТРС задания обладают абсолютными приоритетами, которые задаются владельцами заданий по установленным в ТРС еди-
ным правилам [6]. Соблюдение единых правил назначения приоритетов позволяет определить общую для всей ТРС цель - скорейшее выполнение высокоприоритетных заданий. В такой модели классические аукционные методы теряют свою эффективность, так как пропадает конкуренция между покупателями (покупатель не может изменять свою ставку из-за наличия единых правил), и понятие бюджета пользовательского задания теряет смысл.
Авторы предлагают новый подход, в котором предметом аукционных торгов становятся задания, а участники меняются ролями: владельцы ресурсов становятся покупателями, расплачивающимися за задания имеющимися в наличии свободными вычислительными ресурсами, а продавцы - пользователями, продающими свои задания. Так как в один и тот же момент времени в разных ВУ доступно разное число вычислительных ресурсов (ВУ различаются по производительности и интенсивности локального потока заданий), между покупателями вновь возникает конкуренция.
Важно заметить, что в исследуемой авторами модели у покупателей заранее не определен бюджет, в пределах которого они могут варьировать цену за покупку товара. Авторы предполагают, что такой бюджет мог бы быть определен в случае, когда возможно составление расписания запусков заданий на некоторый интервал времени. Однако в системе с абсолютными приоритетами составленное расписание придется перестраивать каждый раз при поступлении в систему более приоритетного задания. Более того, невозможность составить расписание запусков заданий приводит к тому, что покупатель будет готов принять участие в проведении аукциона только в момент появления у него свободных вычислительных ресурсов. Это обусловливает следующие особенности рассматриваемого подхода:
- продолжительность аукциона должна быть достаточной для того, чтобы в нем успели принять участие не менее двух покупателей;
- ставка покупателя должна отражать реальную загруженность вычислительных ресурсов в течение всей продолжительности аукциона.
При этом загруженность вычислительных ресурсов ВУ в процессе проведения аукциона может измениться в силу следующих причин:
- помимо глобального потока, на вычислительные ресурсы ВУ поступает локальный поток заданий;
- часть заданий успевает завершиться;
- диспетчер ВУ может одновременно участвовать в проведении нескольких аукционов, при этом одни и те же ресурсы могут быть предложены для разных заданий.
Действительность ставки в течение длительного периода времени позволяют обеспечить мно-гораундовые аукционы. В этом случае каждый
участник поддерживает актуальность сделанной ставки, изменяя ее каждый раз, когда меняется загруженность вычислительных ресурсов ВУ. Авторами была выбрана модель английского аукциона как наиболее предпочтительная для планирования заданий в ТРС с абсолютными приоритетами [12]. Английский аукцион - это открытый многораундо-вый аукцион с повышением ставок, который начинается с установления минимальной цены.
Вопрос назначения ставки рассмотрен авторами в работе [12], в которой ставку за задание предлагается формировать из нескольких составляющих: цены за занимаемые вычислительные ресурсы, цены за прерывание низкоприоритетных заданий и цены за передачу исходных данных по коммуникационным каналам. Аукцион выигрывает диспетчер-покупатель, предложивший максимальную ставку. Для того чтобы выиграть, диспетчер должен предложить для задания как можно больше вычислительных ресурсов, время на пересылку исходных данных должно быть минимальным, при этом предлагаемые вычислительные ресурсы должны быть либо свободными, либо занятыми наименее приоритетными заданиями.
В работе [12] рассмотрен разработанный авторами алгоритм проведения английского аукциона в ТРС с абсолютными приоритетами заданий. Последовательность шагов алгоритма повторяется до тех пор, пока все задания глобальной очереди не будут распределены по ВУ. В начале торгов диспетчер-аукционист устанавливает за это задание минимальную ставку, после чего начинает принимать ставки от других диспетчеров. Прием ставок может многократно повторяться в течение времени проведения аукциона, при этом диспетчеры-участники могут корректировать свои ставки, повышая цену задания. Предполагается, что в течение времени проведения аукциона ставка диспетчера может измениться при изменении доступного объема вычислительных ресурсов. По окончании аукциона задание получает диспетчер, предложивший максимальную цену.
Продолжительность английского аукциона
Важнейшей характеристикой рассматриваемого алгоритма является длительность проведения (продолжительность) аукциона. Важность этой характеристики обусловливается тем, что, с одной стороны, возможность пересчета ранее предложенной ставки позволяет участникам аукциона поддерживать действительность ставки в течение всего времени проведения аукциона, а с другой -увеличение продолжительности аукциона приводит к длительным простоям вычислительных ресурсов и увеличению времени получения результатов выполнения заданий каждого приоритета.
На продолжительность аукциона оказывают влияние характеристики входного потока заданий
(интенсивность, закон распределения), а также продолжительность выполнения заданий.
Авторы предполагают, что продолжительность аукциона может быть определена как доля относительно среднего времени обработки задания.
Для определения продолжительности английского аукциона авторы провели серию экспериментов с использованием специально подготовленного на базе вычислительных ресурсов МСЦ РАН макета ТРС. В экспериментах моделировалась работа двух суперкомпьютерных центров (СКЦ и СКЦ2), каждый из которых содержал в своем составе две высокопроизводительные вычислительные установки. ВУ моделировались отдельными сегментами суперкомпьютера МВС-100К (см. рис. 3).
На каждом сегменте был развернут следующий набор программных компонентов:
- сервер хранения глобальной очереди (ГО), организованной в соответствии с [6] на базе распределенной СУБД Elasticsearch;
- диспетчер заданий, разработанный авторами на языке программирования Python;
- ЛСУР (СУППЗ и SLURM).
В ходе эксперимента моделировалась работа ВУ с различной вычислительной мощностью от 4 до 8 вычислительных модулей МВС-100К. При этом на все ВУ поступали потоки заданий от локальных пользователей.
В качестве тестовых задач использовались MPI-программы из известного пакета NAS Parallel Benchmarks (NPB). Моделирование входного потока заданий проводилось следующим образом. В глобальную очередь поступал стационарный поток из M = 400 вычислительных заданий. В потоке заданий были выделены четыре уровня приорите-
тов заданий, число заданий каждого уровня задавалось равномерным распределением. При этом исходные данные задания были равномерно распределены по всем ВУ ТРС. Интенсивность поступления вычислительных заданий в глобальную очередь задавалась пуассоновским распределением исходя из следующих соображений [13].
Во-первых, даже при потоке заданий, отличающемся от пуассоновского, можно получить удовлетворительные по точности результаты, заменив поток любого распределения пуассоновским с той же плотностью.
Во-вторых, в теории массового обслуживания показано, что при суммировании (взаимном наложении) нескольких потоков, поступающих от независимых источников и обладающих свойствами ординарности и стационарности, получается суммарный поток, сколь угодно близкий к простейшему. При этом должно соблюдаться условие, что складываемые потоки оказывают на сумму приблизительно равномерное малое влияние. На практике достаточно сложить 3-4 потока, чтобы получить поток, с которым можно оперировать как с простейшим [14].
Для выполнения условия стационарности вероятностные характеристики входного потока заданий не должны зависеть от времени. На практике поступающий в ТРС поток заданий может считаться стационарным только на непродолжительном интервале времени, например, с 13 до 18 часов, но этот же поток в течение суток уже не может считаться стационарным (ночью плотность поступления заданий значительно меньше, чем днем, то же относится к выходным и будним дням). Однако во многих задачах теории массового обслуживания
Управляющий сервер
Пользователи
В
Сервер хранения ГО (Elasticsearch)
Диспетчер СУППЗ
Вычислительные ресурсы суперкомпьютера МВС 100К
I
Диспетчер СУППЗ
'1
I
ВУт
I_________
ВУ2
CKLU
в
Сервер хранения ГО (Elasticsearch)
I
Упра вляющий сервер
I
Диспетчер SLURM
Ш11
1
Диспетчер СУППЗ
I
ВУ3
ВУ4
скц2
I_________I I_____-1___
Рис. 3. Схема экспериментального стенда для определения продолжительности английского аукциона Fig. 3. Scheme of the test bed for determining English auction duration
представляет интерес анализ работы системы при постоянных условиях; тогда задача решается для стационарного потока заявок [13].
Соблюдение условия ординарности требует, чтобы задания поступали в систему по одному, а не парами, тройками и т.д. Поступающий в ТРС поток зданий считается ординарным, так как задания поступают друг за другом, а каждое задание не может быть поделено на более мелкие задания. Если задания поступают только парами, тройками и т.д., то такой поток легко свести к ординарному; для этого достаточно вместо потока отдельных заданий рассмотреть поток пар, троек заданий и т.д.
В качестве показателя эффективности алгоритма проведения аукциона рассматривалось среднее время Т обработки задания в соответствии с уровнем приоритета [8].
В результате многочисленных запусков авторами было установлено, что результаты зависят не от абсолютных значений времен, а от соотношения продолжительности аукциона и среднего времени выполнения задания. По этой причине среднее время выполнения задания может быть представлено в некоторых условных единицах (у.е.). В этом контексте продолжительность аукциона, например в 0,5 у.е., означает, что аукцион проводится в течение времени, равного половине среднего времени выполнения задания. Для экспериментального определения зависимости среднего времени обработки задания от продолжительности аукциона последняя изменялась с шагом 0,1 у.е. Полученные результаты показаны на рисунке 4.
Tw
3
V
0,5
0 0,2 0,4 0,6 0,8 1
Ta
.........Минимальный уровень приоритетов
— — — Средний уровень приоритетов
• — Максимальный уровень приоритетов
Рис. 4. Среднее время обработки заданий в зависимости от продолжительности английского аукциона для соответствующих уровней приоритетов: Та - продолжительность аукциона в условных единицах задания, Tw - среднее время обработки заданий в условных единицах
Fig. 4. Average job processing time depending on the English auction duration for corresponding priority levels, Та is auction duration in conventional units, Tw is the average job processing time in conventional units
p
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
0,2 0,4 0,6 0,8 1
......Средняя продолжительность заданий 1 у.е.
Средняя продолжительность заданий 2 у.е. Средняя продолжительность заданий 3 у.е.
1,2
Рис. 5. Зависимость доли участников аукциона от общего числа участников ТРС (Р) и от продолжительности аукциона в условных единицах (Та)
Fig. 5. Dependence of auction participants share on the total number of GDS (P) participants and on auction duration in conventional units (Та)
Из представленных результатов видно, что наибольшая эффективность планирования заданий обеспечивается при продолжительности английского аукциона от 0,3 до 0,4 от среднего времени обработки задания. Еще раз заметим, что это соотношение не зависит от абсолютных значений времен.
Особый интерес представляет определение зависимости числа участников аукциона от его продолжительности. Для исследования этой зависимости авторами была проведена серия экспериментов, результаты которых представлены на графике (см. рис. 5). График демонстрирует следующую зависимость: увеличение средней продолжительности выполнения заданий снижает интенсивность участия диспетчеров в аукционе. При оптимальной продолжительности аукциона в 0,3-0,4 у.е. число участников аукциона в среднем достигает 70 % от общего числа диспетчеров ГСУР.
Заключение
Для ТРС с абсолютными приоритетами заданий авторами предложен подход к планированию заданий на основе английского аукциона. В отличие от классических аукционных методов в предлагаемом подходе в качестве предмета торгов рассматриваются не вычислительные ресурсы, а задания пользователей. В качестве покупателей выступают владельцы вычислительных ресурсов, конкурирующие друг с другом за задания, предлагая в качестве платы вычислительные ресурсы. Задания выставляются на английский аукцион, в ходе которого покупатели имеют возможность итеративно повышать ставки за задания, при этом на размер ставки могут оказывать влияние динамически освобождающиеся ресурсы. В этом случае важнейшей характеристикой алгоритма планирования выступает
Та
0
0
2,5
2
1,5
1
0
длительность проведения (продолжительность) аукциона.
Для определения оптимальной продолжительности аукциона авторами проведена серия экспериментов на макете ТРС, построенном на базе нескольких сегментов суперкомпьютера МВС-100К. Анализ результатов экспериментов позволяет сделать два основных вывода.
Во-первых, для продолжительности аукциона и числа его участников важное значение имеет соотношение продолжительности аукциона и среднего времени выполнения задания, при одинаковых соотношениях получаются одинаковые результаты вне зависимости от абсолютных значений времен.
Во-вторых, наибольшая эффективность планирования заданий обеспечивается при продолжительности английского аукциона от 0,3 до 0,4 от среднего времени обработки задания. При такой продолжительности число участников аукциона в среднем достигает 70 %.
Работа выполнена в МСЦ РАН в рамках государственного задания по теме 0065-2018-0409. При проведении исследований использовался суперкомпьютер МВС-100К, находящийся в МСЦ РАН.
Литература
1. Шабанов Б.М., Овсянников А.П., Баранов А.В., Ле-щев С.А., Долгов Б.В., Дербышев Д.Ю. Проект распределенной сети суперкомпьютерных центров коллективного пользования // Программные системы: теория и приложения. 2017. № 4. С. 245-262. DOI: 10.25209/2079-3316-2017-8-4-245-262.
2. Henderson R.L. Job scheduling under the Portable Batch System. In: Job scheduling strategies for parallel processing, Feitel-son D.G., Rudolph L. (Eds.), LNCS, Springer, 1995, vol. 949,
pp. 279-294. DOI: 10.1007/3-540-60153-8_34.
3. Yoo A.B., Jette M.A., Grondona M. SLURM: simple linux utility for resource management. In: Job scheduling strategies for parallel processing, Feitelson D., Rudolph L., Schwiegelshohn U. (Eds.), LNCS, Springer, 2003, vol. 2862, pp. 44-60. DOI: 10.1007/10968987_3.
4. Moab HPC Suite Enterprise Edition. URL: http://www. adaptivecomputing.com/products/hpc-products/moab-hpc-suite-en-terprise-edition (дата обращения: 12.07.2018).
5. СУППЗ. URL: http://suppz.jscc.ru/ (дата обращения: 03.07.2018).
6. Баранов А.В., Тихомиров А.И. Методы и средства организации глобальной очереди заданий в территориально распределенной вычислительной системе // Вестн. Южно-Уральского гос. ун-та. Вычислительная математика и информатика. 2017. Т. 6. № 4. С. 28-42. DOI: 10.14529/cmse170403.
7. Singh K.K., Kumar M., Singhal M., Dubey A. Elasticsearch. IJMTER, 2018, vol. 5, iss. 05. DOI: 10.21884/ijmter.2018. 5137.2jz19.
8. Климов Г.П. Теория массового обслуживания. М.: Изд-во МГУ, 2011. 312 с.
9. Buyya R., Abramson D., Giddy J., Stockinger H. Economic models for resource allocation and scheduling in grid computing. Concurrency Comput. Pract. Exp., 2002, vol. 14, pp. 1507-1542. DOI: 10.1002/cpe.690.
10. Wolski R., Plank J.S., and Brevik J. Analyzing market-based resource allocation strategies for the computational grid. J. of High Performance Computing Applications, 2001, vol. 15, iss. 3, pp. 258-281. DOI: 10.1177/109434200101500305.
11. Kale L.V., Kumar S., Potnuru M., DeSouza J., and Bandhakavi S. Faucets: efficient resource allocation on the computational grid. Proc. Intern. Conf. on Parallel Processing (ICPP 2004), 2004, pp. 396-405. DOI: 10.1109/ICPP.2004.1327948.
12. Baranov A., Telegin P., Tikhomirov A. Comparison of auction methods for job scheduling with absolute priorities. LNCS,
2017, vol. 10421, pp. 387-395. DOI: 10.1007/978-3-319-62932-2_37.
13. Вентцель Е.С. Теория вероятностей. М.: Юстиция,
2018. 658 с.
14. Петухов О.А., Морозов А.В., Петухова Е.О. Моделирование: системное, имитационное, аналитическое. СПб: Изд-во СЗТУ, 2008. 288 с.
Software & Systems Received 13.07.18
DOI: 10.15827/0236-235X.031.3.461-468 2018, vol. 31, no. 3, pp. 461-468
The English auction method for job scheduling with absolute priorities in a distributed computing system
A. V. Baranov 1, Ph.D. (Engineering), Associate Professor, Leading Researcher, [email protected], [email protected] V. V. Molokanov 2, Student, [email protected]
P.N. Telegin l, Ph.D. (Engineering), Leading Researcher, [email protected] A.I. Tikhomirov l, Junior Researcher, [email protected]
1 Joint Supercomputer Center of RAS, Moscow, 119991, Russian Federation
2 Moscow Institute of Physics and Technology, Dolgoprudniy, 141700, Russian Federation
Abstract. The article considers the problem of job scheduling with absolute priorities in a geographically distributed computing system (GDS) when auction methods can be efficiently applied. Most latest papers use a market model where the subject of auction trades (goods) are computational resources, and their owners act as sellers. Buyers are users who participate in the auction to purchase computing resources for of their jobs execution. Such model assumes that customers have certain budgets in nominal or real money. Job priority is determined by the price that the user can pay to finish the job by certain time. The investigated GDS model differs from the known ones by thy fact that job priorities are absolute and assigned according to uniform rules. The main goal is the earliest execution of high-priority jobs. In this case, the concept of the user's budget becomes meaningless, and the classic auction models do not work. The authors propose a new approach when the subject of auction
trades are jobs, and resource owners act as buyers paying for jobs with available free computing resources. Within this approach, the authors consider the English auction as the most preferred method for job scheduling with absolute priorities in GDS.
The main characteristic of the scheduling algorithm, which is based on this method, is the duration of an auction. The paper presents experimental evaluation of the optimal duration of the English auction in reference to the average job processing time.
Keywords: high performance computing, grid, absolute priorities, English auction, duration of the auction, economic scheduling methods.
Acknowledgements. The work has been done in the Joint Supercomputer Center of the Russian Academy of Sciences within the framework of a state assignment 0065-2018-0409. The research included using a supercomputer MVS-100K located in the JSCC RAS.
References
1. Shabanov B.M., Ovsyannikov A.P., Baranov A.V., Leshchev S.A., Dolgov B.V., Derbyshev D.Yu. A project of a supercomputer center distributed network for collaborative research. Program Systems: Theory and Applications. 2017, vol. 8, no. 4, pp. 245-262 (in Russ.).
2. Henderson R.L. Job scheduling under the Portable Batch System. Feitelson D.G., Rudolph L. (Eds.) JSSPP 2015. Lecture Notes in Computer Science. Springer Publ., Berlin, Heidelberg, 1995, vol. 949, pp. 279-294.
3. Yoo A.B., Jette M.A., Grondona M. SLURM: simple linux utility for resource management. Feitelson D., Rudolph L., Schwiegelshohn U. (Eds.). JSSPP 2003. Lecture Notes in Computer Science. Springer Publ., Berlin, Heidelberg, 2003, vol. 2862, pp. 44-60.
4. Moab HPC Suite Enterprise Edition. Available at: http://www.adaptivecomputing.com/products/hpc-products/moab-hpc-suite-enterprise-edition (accessed July 12, 2018).
5. SUPPZ. Available at: http://suppz.jscc.ru/ (accessed July 3, 2018).
6. Baranov A.V., Tikhomirov A.I. Methods and tools for organizing the global job queue in the geographically distributed computing system. Bulletin of the South Ural State Univ. Ser. Computational Mathematics and Software Engineering. 2017, vol. 6, no. 4, pp. 28-42 (in Russ.).
7. Singh K.K., Kumar M., Singhal M., Dubey A. Elasticsearch. IJMTER. 2018, vol. 5, iss. 05, pp. 23-28.
8. Klimov G.P. Queuing Theory. Moscow, Lomonosov MSU Publ., 2011, 312 p.
9. Buyya R., Abramson D., Giddy J., Stockinger H. Economic models for resource allocation and scheduling in grid computing. Concurrency Comput. Pract. Exp. 2002, vol. 14, pp. 1507-1542.
10. Wolski R., Plank J.S., Brevik J. Analyzing market-based resource allocation strategies for the computational grid. J. of High Performance Computing Applications. 2001, vol. 15, iss. 3, pp. 258-281.
11. Kale L.V., Kumar S., Potnuru M., DeSouza J., and Bandhakavi S. Faucets: efficient resource allocation on the computational grid. Proc. Int. Conf on Parallel Processing (ICPP 2004). 2004, pp. 396-405.
12. Baranov A., Telegin P., Tikhomirov A. Comparison of Auction Methods for Job Scheduling with Absolute Priorities. Lecture Notes in Computer Science. 2017, vol. 10421, pp. 387-395.
13. Ventsel E.S. Probability Theory. 12th ed. Moscow, Yustitsiya Publ., 2018, 658 p.
14. Petukhov O.A., Morozov A.V., Petukhova E.O. Modeling: System, Simulation, Analytical. St. Petersburg, SZTUPubl., 2008, 288 p.
Примеры библиографического описания статьи
1. Баранов А.В., Молоканов В.В., Телегин П.Н., Тихомиров А.И. Применение метода английского аукциона при планировании заданий с абсолютными приоритетами в распределенной вычислительной системе // Программные продукты и системы. 2018. Т. 31. № 3. С. 461-468. DOI: 10.15827/0236-235X.031.3.461-468.
2. Baranov A.V., Molokanov V.V., Telegin P.N., Tikhomirov A.I. The English auction method for job scheduling with absolute priorities in a distributed computing system. Software & Systems. 2018, vol. 31, no. 3, pp. 461-468 (in Russ.). DOI: 10.15827/0236-235X.031.3.461-468.
