CC BY
165
МЕТОДИКА ОПТИМАЛЬНОГО РАСПРЕДЕЛЕНИЯ ВИРТУАЛЬНЫХ СЕРВЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ
Ворожцов Анатолий Сергеевич,
к.т.н., доцент, доцент кафедры ИС МТУСИ, Москва, Россия, [email protected]
Тутова Наталья Владимировна,
к.т.н., доцент кафедры ИС МТУСИ, Москва, Россия, [email protected]
Тутов Андрей Владимирович,
аспирант МТУСИ, Москва, Россия, [email protected]
Ключевые слова: оптимальное размещение серверов, облачные вычисления, управление ресурсами, размещение виртуальных машин, многокритериальная оптимизация.
Облачные центры обработки данных (ЦОД) должны предоставлять удобный сетевой доступ к общему пулу вычислительных ресурсов, управление которыми должно осуществляться с минимальными усилиями по администрированию или вмешательством сервис-провайдера. Гибкость в управлении достигается за счет использования платформ виртуализации, которые позволяют создавать виртуальные машины на физических серверах, а также их перемещать и уничтожать. При этом нужно учитывать ряд проблем, возникающих в современных ЦОД, которые можно частично решить, путем перемещения виртуальных машин между физическими хостами. К ним относятся большое энергопотребление, неравномерность тепловыделения, необходимость выполнения SLA-соглашений и др. В работе предложена методика оптимального размещения виртуальных серверов в ЦОД, которая в отличие от известной двухэтапной позволяет более полно учесть реальные процессы распределения ресурсов ЦОД. Данная методика включает в себя три этапа: первоначальное, динамическое и статическое размещение виртуальных серверов. На этапе первоначального размещения решается задача многокритериальной оптимизации закрепления облачных серверов по физическим серверам в незагруженном ЦОД, с учетом только требований облачных серверов, вместимости физических машин, платформенных ограничений, а также электропитания и охлаждения. В качестве метода используется метод последовательных уступок. Под динамическим размещением понимается перераспределение облачных серверов между физическими серверами в соответствии с изменением состояния системы. При этом контролируются такие параметры системы, как энергопотребление, температура процессора и нехватка вычислительных ресурсов для виртуальных машин. При выходе параметров за допустимые границы принимается решение о перемещении виртуального сервера на физический. Третий этап методики применяется тогда, когда система выходит за пределы изменения параметров, рассчитанных на первом этапе. Для получения решения за приемлемое время предложено использовать комбинацию методов последовательных уступок и ограничений. Методы многокритериальной оптимизации, используемые на каждом из этапов, основанные на Парето-оптимальных решениях в сравнении с используемыми обобщенными критериями на основе свертки позволяют учесть не только веса критериев, но и их взаимосвязи.
Для цитирования:
Ворожцов А.С., Тутова Н.В., Тутов А.В. Методика оптимального распределения виртуальных серверов в центрах обработки данных // T-Comm: Телекоммуникации и транспорт. - 2015. - Том 9. - №7. - С. 5-10.
For citation:
Vorozhtsov A.S., Tutova N.V., Tutov A.V. The technique of optimal virtual server placement in data centers . T-Comm. 2015. Vol 9. No.7, рр. 5-10. (in Russian).
Введение
Облачные центры обработки данных (ЦОД) позволяют пользователям арендовать у провайдера вычислительные ресурсы по требованию и оплачивать их фактическое потребление. По определению Национального института стандартов и технологий США «облачные вычисления являются моделью предоставления удобного сетевого доступа к общему пупу вычислительных ресурсов, которые могут быть быстро выделены и освобождены с минимальными усилиями по администрированию или вмешательством сервис-провайдера [I]. Такое гибкое управление ресурсами стало возможным благодаря технологиям виртуализации, позволяющим размещать несколько виртуальных машин на одной физической машине. Кроме этого виртуализация позволяет осуществлять «живую миграцию» виртуальных машин, т.е. перемещать виртуальную машину с одного физического сервера на другой без ее отключения. Кроме этого живая миграция помогает выполнять SLA-соглашения, сбалансировать нагрузку между физическими серверами ЦОД, а также размещать виртуальные машины на меньшем числе физических серверов. Технологии виртуализации реализованы в гипервизорах, таких как VMware ESX, Microsoft Hyper-V или Хеп, которые позволяют создавать, уничтожать и перемещать виртуальные машины. В связи с этим возникает задача размещения виртуальных машин на физических серверах. При этом нужно учитывать ряд проблем, возникающих в современных ЦОД, которые можно частично решить, путем перемещения виртуальных машин.
Большое энергопотребление. Известно, что в неактивном состоянии включенный сервер потребляет значительное количество электроэнергии [2]. Поэтому в такой ситуации для экономии электроэнергии необходимо перемещать все виртуальные машины из незагруженного сервера на другие с выключением последнего.
Неравномерность тепловыделения. Известно также, что температура каждого сервера должна быть сохранена ниже порогового значения, поскольку перегрев компонентов может приведсти к аппаратным сбоям. Кроме этого неравномерное тепловыделение серверов в ЦОД приводит к появлению «горячих точек», что значительно увеличивает расходы на охлаждение [3]. При обнаружении локальных горячих точек виртуальные машины с высокими нагрузками перемещают для облегчения ситуации и уменьшения затрат на охлаждение.
Необходимость выполнения SLA-соглашений. С увеличением нагрузки на виртуальные машины, размещенные на одном сервере часто возникает ситуация, при которой несколько виртуальных серверов конкурируют за вычислительные ресурсы, что отрицательно отражается на показателях качества работы приложений. Перемещение виртуальных машин из проблемного хоста позволяет им получить необходимые ресурсы для работы и увеличить показатели качества.
Неравномерность использования ресурсов. Для повышения коэффициента использования физических серверов размещают виртуальные машины таким образом, чтобы минимизировать остаток неиспользуемых ресурсов.
Обзор работ
В литературе по размещению виртуальных машин различают три различных режима работы с пользователями: бронирование, доступ по требованию и наличный рынок {spot market) [4]. 8 данной работе будет рассмотрен только доступ по требованию как наиболее распространенный.
В таком доступе существует два типа размещения виртуальных машин: первоначальное размещение и миграция виртуальных машин [5-7]. Несмотря на то, что в некоторых случаях могут применяться схожие алгоритмы, первоначальное размещение и миграция, как правило, рассматриваются как отдельные темы. В существующих работах не рассмотрено взаимодействие между первичным и динамическим размещением, особенно в ситуации, когда необходимо учитывать множество противоречивых критериев. Поэтому данная работа посвящена разработке методики многокритериального размещения виртуальных машин в облачном ЦОД.
Описание системы
Рассмотрим традиционную двухуровневую систему управления облачным ЦОД [6], состоящую из локальных и глобального менеджеров, представленных на рис. I. Локальный менеджер размещен на каждом физическом узле и является модулем монитора виртуальных машин. Его задачей является постоянный мониторинг загрузки процессора узла и изменение размеров виртуальных машин в соответствии с их потребностью в ресурсах. Система мониторинга ЦОД измеряет системную информацию, включая использование ресурсов, энергопотребление и тепловыделение, собирая их в центральное хранилище. Глобальный менеджер анализирует данную информацию и в соответствии с ней оптимизирует размещение виртуальных серверов.
Панель упрзелемпя
Канество обслуживания
Ислол ыованне ресурсов
Температура
Энергопотребление
Глобальный менеджер
Стратегия рзмещенш ойлгнных серверов
Мониторинг
Системная информация
Локальный менеджер
ОбпаГн
иные сер?еры
Локальный менеджер
0йлэ<ные серверы
0-0 - 0 О
Г Физический Г Фкгический л
I_cwp_) {_сервер_)
Рзмещение обменных серверов и миграция
Рис. I
Запросы на ресурсы от пользователей выражаются в заказе виртуального сервера с определенным набором ресурсов и каждое пользовательское приложение запущено на своем виртуальном сервере. Ресурсы на физических серверах поделены на части (слайсы) по нескольким изме-
T-Comm Том 9. #7-2015
рениям в соответствии с запросами на ресурсы виртуальных серверов. Количество потребляемых каждым виртуальным сервером ресурсов ограничено размером виртуального сервера, который можно представить как it-размерный вектор, в котором каждая компонента соответствует одному из ресурсов.
Методика распределения
виртуальных серверов ЦОД
При распределении виртуальных машин в ЦОД необходимо ответить на следующие вопросы:
1. Каким образом распределить ресурсы, учитывая большое число физических и виртуальных серверов.
2. Как найти оптимальное решение, учитывая несколько противоречивых цепей?
3. Когда нужно производить размещение или перемещение виртуальных серверов.
Данную проблему предлагается решать в три этапа: первоначальное, динамическое и статическое размещение виртуальных серверов. При первоначальном размещении решается задача закрепления облачных серверов по физическим серверам в незагруженном ЦОД, с учетом только требований облачных серверов, вместимости физических машин, платформенных ограничений, а также электропитания и охлаждения. Под динамическим размещением понимается перераспределение облачных серверов между физическими серверами в соответствии с изменением состояния системы или требований на изменение ресурсов облачных серверов от заказчиков. Динамическое размещение должно производиться быстро с минимальным числом миграций. Статическое размещение предполагает учет плановых изменений в системе распределения ресурсов ЦОД, оно имеет долгосрочный эффект, производится гораздо реже, чем динамическое размещение и может потребовать значительных изменений в текущем плане размещения, т.е. большое число миграций виртуальных серверов. Статическое размещение также проводится в случае, если динамическое не дает желаемого эффекта. Рассмотрим эти этапы более подробно.
Первоначальное размещение
При первоначальном размещении решается задача закрепления облачных серверов по физическим серверам в незагруженном ЦОД. Постановка задачи для первоначального размещения приведена в [8]. Под оптимальным размещением облачных серверов понимается такое закрепление их за физическими серверами, при котором минимизируются энергопотребление, неиспользованные ресурсы, неравномерность тепловыделения и нарушения SLA-соглашений. Критерии, полученные в ряде работ экспериментально, имеют следующий вид [3,6]:
• Энергопотребление ffr ,,.);
, , . _ J PO + (PI-PO) uCPU> мCPU
J power \и CPU I "Л л Л
{ 0. 1>CPU=°>
где р0 - потребление электроэнергии незагруженным сервером;
р, - потребление электроэнергии полностью загруженным сервером,
• Неиспользованные ресурсы (fril[lllrrl>:
fresource\UCPU,URAM ) = ' ~llCPU ' URAM* где uCPU - загрузка процессора; u^ - загрузка памяти.
Данный критерий отражает насколько полно загружены ресурсы различных типов.
• Тепловыделение (f):
/,(П = 1-
где Т - текущая температура процессора; Т - безопасная температура.
• Нарушения 51-А-соглашений I
. ^¿.4 ("СРО ) ~ ' ~
1 +
где исра - загрузка процессора, максимальное значение которого принимается равной 0,9.
Для решения этой многокритериальной задачи предлагается использовать метод последовательных уступок. Для этого критерии располагают и нумеруют в порядке убывания важности. Важность критериев можно определить исходя из того, как часто каждый из критериев упоминался в литературе. Таким образом, критерии следует расположить следующим образом: энергопотребление, неравномерность тепловыделения, нарушения 51.А-соглашений и неиспользованные ресурсы. Решение задачи оптимизации производится сначала по самому важному критерию. На следующем шаге ищется решение наилучшее по следующему по важности критерию, а по наиболее важному критерию вводится уступка, характеризующая допустимое отклонение этого критерия от его минимального значения. На третьем шаге ищется решение по третьему критерию, при заданных уступках по первому и второму и так до тех пор, пока не будет рассмотрен последний по важности критерий. Попучаемое а итоге решение является оптимальным по Парето.
Динамическое размещение
После того, как виртуальные машины были распределены, необходима коррекция их размещения в связи с изменениями нагрузок, количества ресурсов ВМ и запросов на добавпение/удаление ВМ. Работа по управлению ресурсами ложиться на глобальный менеджер (рис. I), который принимает решения по миграции виртуальных серверов и включению/выключению физических серверов в соответствии с данными системы мониторинга. Эти данные могут относится к уровню физических ресурсов, таких как температура, энергопотребление, загрузка процессора, памяти, и др. На уровне виртуальных ресурсов могут ис-попьзоваться показатепи загрузки ресурсов виртуальных машин. На уровне приложений могут собираться показатели качества обспуживания, таких как среднее время отклика, максимальное время отклика для заданной доли запросов, пропускная способность и др. В связи с разнообразием припожений, размещаемых на виртуапьных серверах в ЦОД, трудно выделить общие показатепи производи-
тельности уровня приложений. Поэтому ограничимся такими показателями, получаемых с уровня виртуализации и уровня системы мониторинга ЦОД, как температура процессора, энергопотребление и загрузка ресурсов виртуальных машин.
Глобальный менеджер должен выполнять три основные функции:
1. отслеживать условия, при которых необходимо предпринять действия по миграции ВМ и включению/выключению физических серверов;
2. выбирать виртуальные машины для миграции;
3. выбирать узлы назначения.
Динамическое размещение виртуальных серверов чаще всего необходимо в следующих трех случаях: повышение температуры процессора, низкая энергоэффективность и борьба за ресурсы среди виртуальных машин. Для это контроллер периодически проверяет три упомянутые выше параметра с использованием данных датчиков, и если они превышают допустимый уровень, то контроллер активизируется для того, чтобы выполнить действия по возможной миграции виртуальных машин. При этом необходимо учитывать, что эти показатели могут кратковременно колебаться в связи с динамическим изменением нагрузки на облачные приложения.
На глобальный контроллер возложена функция выбора виртуальных машин, которая определяет, какие виртуальные машины должны быть перенесены с учетом плюсов и минусов возможной миграции. В случае повышения температуры процессора сервера следует выбрать виртуальные машины с высокой загрузкой процессора чтобы эффективнее снизить его температуру. В то же время, миграция ВМ также требует процессорного времени и операций ввода/вывода, что, в свою очередь, увеличивает потребление энергии и температуру сервера. Процесс живой миграции виртуальной машины заключается в копировании файла памяти и образа на хост назначения, а также отслеживание, какие страницы памяти были модифицированы. Поэтому для миграции выбирается виртуальный сервер с меньшим объемом памяти и интенсивностью модификаций страниц, что может сократить время и накладные расходы на миграцию.
В случае конкуренции за ресурсы алгоритму выбора виртуальных машин нужно определить, какие виртуальные серверы конкурируют за ресурсы. Также учитываются накладные расходы на миграцию: конкурирующие виртуальные машины упорядочиваются по возрастанию их объема памяти, а затем виртуальные машины с памятью меньшего объема выбираются для миграции.
Низкая энергоэффективность распознается, когда контроллер определяет простаивающий сервер или сервер с низкой загрузкой ресурсов, тогда все виртуальные машины, работающие на сервере, должны быть перемещены, а сам сервер выключен.
Для того чтобы определить новый хост назначения для выбранной виртуальной машины, в функции выбора хоста вычисляются следующие параметры, которые также можно рассчитать, используя критериальные функции этапа I:
температура сервера, энергопотребление и производительность.
Размещение виртуальной машины на самом «холодном» сервере может помочь сбалансировать распределение температуры в ЦОД. Используя модель температуры полученную в результате обработки системных данных мониторинга, функция выбора может спрогнозировать температуру хоста назначения после миграции ВМ.
С точки зрения экономии энергии, предпочтительно помещать виртуальную машину на наиболее загруженный сервер, который еще имеет достаточно ресурсов. Алгоритм выбора хоста может использовать модели энергопотребления для прогнозирования будущего энергопотребления кандидатов в хосты назначения.
Чтобы избежать возникновения нового конфликта за ресурсы и гарантировать производительность каждой ВМ, предпочтение отдается хостам, которые имеют наибольшее количество свободных ресурсов, достаточных для размещения мигрирующих виртуальных машин.
Результаты выбора сервера по различным критериям могут отличаться друг от друга. Для решения этой задачи предлагается использовать обобщенный критерий в виде аддитивной свертки.
Статическое размещение
Необходимость в этом этапе возникает каждый раз, когда система выходит за пределы изменения параметров, рассчитанных на первом этапе. При этом решается задача этапа 1. В этом случае метод последовательных уступок, требующий произвольного выбора величин пробных уступок, число которых может быть большим, приводит в ряде задач к значительным временным затратам. Поэтому для решения подобных многокритериальных задач чаще всего используются методы формирования обобщенного критерия, которые в данном случае не позволят в полной мере учесть требования облачных сервисов и характер используемых критериальных функций. Поэтому в данной работе предложен другой подход с использованием таких методов, как метод последовательных уступок и ограничений, и их комбинации. Для этого системным администратором задается вектор предпочтений частных критериев, на основании которого определяется размер компромиссной уступки по менее важным критериям, позволяющей найти Парето-оптимальное компромиссное решение, дающее минимальные относительные отклонения критериев от своих оптимальных значений [9]. Обобщенная схема предлагаемой методики приведена на рис. 2,
Выводы
1. Предложенная трехэтапная методика в отличие от известной двухэтапной позволяет более полно учесть реальные процессы распределения ресурсов ЦОД.
2. Методы многокритериальной оптимизации, используемые на этапах методики, основанные на Парето-оптимальных решениях в сравнении с используемыми обобщенными критериями на основе свертки позволяют учесть не только веса (предпочтения) критериев, но и их взаимосвязи.
Т-Сотт Том 9. #7-2015
I. rVtWt^AHW
irw 2 Дкн1МЧЧ«КМ
СЙСрАЗммын i»fpY3«J т^счеячч - ГЦМЯТИ)
Сбор дантя. Dnf*делена гЧфаиетрзв
От¥сас*«|* pot ьршсриалькух
Опрланныя сдатчиков (температура, ькгнмьвдание ресщкюе. ороребпенне энергии)
Ранннчтселиие ,[шермев па важнк™. Огчтедепекме Пареттмктпиалшга ллзма раэиядення герведк методом последовательные устугн*:
Размещение мрпглпьвык f
>4,11 Статическое размещение
Сбор данны* (загрузка процессора tt памяти]
Задание коэффициентов предпочтения критерия м оптимизации
Определение Парето-оптимэльного плана разращений серверов комбинацией методов последовательных уступок vi ограничений
Размещение виртуальных машин.
Литература
1. Определение облачных вычислений, просмотрено 31 Мая 2015, http://www.nist.gov/itl/cloud/upload/cloud-def-v I S.pdf.
2. V.-W. 6. Chio-Hung Lien and /И.-В. Lin, "Estimation by software for the power consumption of streaming-media servers," IEEE Trans, on Instrumentation and Measurement, vol. 56, no. 5, 2007.
3. Q. 7ong, S. K. S. Gupta, and G. Varsomopou/os, "Energy-ef cient thermal-a ware task scheduling for homogeneous highperformance computing data centers: A cyber-physical approach," IEEE Trans. Parallel Distrib. Syst.,vol. 19, no. I I, pp. 1458-1472, 2008.
4. Amazon Elastic Compute Cloud (Amazon EC2) http://aws.amazon.com/ec2/, 2015.
5. K. Mills, J. F///iben and C. Dabrowski, "Comparing VM Placement Algorithms for On-Demand Clouds", Proceedings of IEEE CloudCom 201 I, Nov. 29-Dec, I, 201 I, Athens.
6. J. Xu and J. Fortes, "Multi-objective Virtual Machine Placement in Virtualized Data Center Environments", Proceedings of the 2010 IEEE/ACM Conference on Green Computing and Communications, 179-188.
7. Соловьев В.П., Удовиченко А.О. Метод планирования размещения группы виртуальных машин с перераспределением ресурсов II Программные продукты и системы, Nal. -2012. -С. 134-138.
8. Еорожцов А.С., Tymoeo Н.В., Тутов А.В. Оптимизация размещения облачных серверов в центрах обработки данных II Т-Comm - Телекоммуникации и транспорт, №6. - 2015. - С. 4-8.
9. йорожцое А.СTymoea Н.В, Алгоритм решения задач оптимизации распределения ресурсов центров обработки данных в сети Интернет // T-Comm - Телекоммуникации и транспорт: спецвыпуск по итогам 3-й отраслевой научной конференции "Технологии информационного общества". Выпуск II, 2009. -С. 144-146.
Рис. 2. Этапы методики оптимального размещения виртуальных серверов
РКК "Энергия" и ФГУП "Космическая связь" объединят усилия в области создания спутниковых систем
24 июля 2015 года президент РКК "Энергия" Владимир Солнцев и генеральный директор ФГУП "Космическая связь" (ГП КС) Юрий Прохоров подписали соглашение о сотрудничестве в области создания перспективных спутниковых систем связи и вещания.
Ожидается, что объединение усилий двух предприятий позволит более эффективно использовать имеющиеся у сторон ресурсы для создания таких систем.
Генеральный директор ГП КС Ю.Прохоров подчеркнул, что "подписанное соглашение призвано способствовать успешной реализации программы развития отечественной орбитальной группировки связи и вещания гражданского назначения до 2025 года с привлечением ведущих российских предприятий ракетно-космической отрасли, обладающих опытом и уникальными компетенциями в области создания космической техники".
В рамках сотрудничества планируется разработать технические требования к перспективным системам спутниковой связи и вещания, в т.ч. к создаваемым в интересах ГП КС. Будет проведена оценка реализуемости перспективных требований к космическим аппаратам связи и вещания на базе научно-технического и производственного потенциала российской космической промышленности, а также разработаны предложения по использованию перспективных российских средств выведения для запусков спутников.
В работах по созданию новых космических аппаратов примут участие специалисты РКК "Энергия", которые прошли подготовку в Airbus DS в рамках проекта по строительству спутников серии "Экспресс".
T-Comm Vol.9. #7-2015
COMMUNICATIONS
THE TECHNIQUE OF OPTIMAL VIRTUAL SERVER PLACEMENT
IN DATA CENTERS
Аnatoliy Vorozhtsov, Moscow Technical University of Communications and Informatics, associate professor, Moscow, Russia,
Natalya Tutova, Moscow Technical University of Communications and Informatics, associate professor, Moscow, Russia,
Andrew Tutov, Moscow Technical University of Communications and Informatics, postgraduate student, Moscow, Russia,
Abstract
Cloud data centers provide a convenient network access to a shared pool of computing resources that can be rapidly provisioned and released with minimal management effort or service provider. Flexibility in management is achieved through the use of virtualization platforms that allow to create, transfer and destroy virtual machines. Thus it is necessary to take into account a number of problems that arise in today's data centers, which can be partially solved by virtual machines migrations between physical hosts. These are a large power consumption, thermal dissipation, the need to guarantee SLAs etc. The proposed technique of optimal virtual server placement in data centers in contrast to the well-known two-step ones more closely reflect the actual data center resource allocation processes. This technique involves three stages: initial, dynamic and static placement of virtual servers. In the initial placement the multi-criteria optimization problem is addressed: how to place virtual servers on physical servers in the unloaded data center subject to the requirements of cloud servers, the capacity of physical machines, platform limitations as well as power and cooling. This problem should be solved using the method of successive concessions. Dynamic placement refers to the migration of cloud servers between physical servers in accordance with a changing system state. System parameters such as power consumption, CPU temperature and resource contention are controlled. If these parameters are out of range, then the decision which cloud server on which physical server to move should be taken. The third stage of proposed technique is used when the system parameters calculated in the first step go beyond the limits of variation. In order to obtain a decision within a reasonable time, this problem should be solved using combinations of methods of successive concessions and restrictions. Multi-criteria optimization techniques used at each stage, based on the Pareto optimal solution in comparison with the used criteria based on generalized convolution allows to take into account not only the weights of criteria, but also their relationship.
Keywords: optimal server placement, cloud computing, resource management, virtual machine placement; multi-objective optimization.
References
1. NIST definition of Cloud Computing, viewed 31 May 2015, http://www.nist.gov/itl/cloud/upload/cloud-def-vl5.pdf
2. Y.-W. B. Chia-Hung Lien and M.-B. Lin, "Estimation by software for the power consumption of streaming-media servers," IEEE Trans. on Instrumentation and Measurement, vol. 56, no. 5, 2007.
3. Q. Tang, S. K. S. Gupta, and G. Varsamopoulos, "Energy-ef?cient thermal-aware task scheduling for homogeneous high-performance computing data centers: A cyber-physical approach," IEEE Trans. Parallel Distrib. Syst., vol. 19, no. 11, pp. 1458-1472, 2008.
4. Amazon Elastic Computer Cloud (Amazon EC2) http://aws.amazon.com/ec2/, 2015.
5. K. Mills, J. Filliben and C. Dabrowski, "Comparing VM Placement Algorithms for On-Demand Clouds", Proceedings of IEEE CloudCom
2011, Nov. 29-Dec. 1, 2011, Athens.
6. J. Xu and J. Fortes, "Multi-objective Virtual Machine Placement in Virtualized Data Center Environments", Proceedings of the 2010 IEEE/ACM Conference on Green Computing and Communications, 179-188.
7. Solovjov V.P., Udovichenko A.O. "Virtual machine placement method with resource redistribution", Programmnye produkty i sistemy, №1,
2012, pp.134-138. [in Russian]
8. Vorozhtsov AS., Tutova N.V., Tutov A.V. "Optimal cloud servers placement in data centers", T-Comm, №6, 2015. Pp.4-8. [in Russian]
9. Vorozhtsov AS., Tutova N.V. "The algorithm of optimal resource allocation of data centers in the Internet", T-Comm, № II, 2009, pp. 144-146. [in Russian]
