CC BY
188
СОВРЕМЕННЫЕ ТЕНДЕНЦИИ РАЗВИТИЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ
УДК 681.3.069, 681.324
А. В. Бухановский, В. Н. Васильев, В. Н. Виноградов, Д. Ю. Смирнов,
С. А. Сухоруков, Т. Г. Яппаров
CLAVIRE: ПЕРСПЕКТИВНАЯ ТЕХНОЛОГИЯ ОБЛАЧНЫХ ВЫЧИСЛЕНИЙ ВТОРОГО ПОКОЛЕНИЯ
Рассмотрены особенности технологий облачных вычислений второго поколения, реализующих модель SaaS/AaaS. Описана многофункциональная технологическая платформа CLAVIRE, предназначенная для создания и исполнения композитных приложений на основе распределенных облачных сервисов.
Ключевые слова: облачные вычисления, сервисы, ресурсы, виртуализация, композитное приложение.
Введение. Парадигма облачных вычислений (cloud computing) ориентирована на модели, методы и технологии, позволяющие предоставлять пользователю удобный доступ к массиву конфигурируемых компьютерных и информационных ресурсов, которые могут быть быстро зарезервированы и высвобождены их провайдером [1]. Она обобщает и систематизирует известные бизнес-модели IaaS (инфраструктура как сервис), PaaS (платформа как сервис) и SaaS (программное обеспечение как сервис), рассматривая их как вложенные механизмы, реализуемые в облаке [2]. При этом в качестве предоставляемых ресурсов могут выступать вычислительные системы, хранилища данных, системные приложения, средства разработки, прикладные программы и композитные приложения на их основе. Для развитых сред облачных вычислений характерна интеграция различных бизнес-моделей, что связано, в первую очередь, с ориентацией на конкретные потребности пользователей в различных предметных областях. Для их классификации и анализа используется модель становления облачных вычислений ССММ (Cloud Computing Maturity Model) [3]. Она декларирует пять этапов развития облачных вычислений.
I. Консолидация и модернизация доступных ресурсов.
II. Виртуализация доступных ресурсов в рамках облачной парадигмы.
III. Автоматизация процессов использования виртуальных ресурсов с обеспечением адаптивности, безопасности и повторяемости.
VI. Обеспечение поддержки автоматизированных сервисов: проведение аудита, проверка отказоустойчивости, обеспечение качества.
V. Полнофункциональная реализация облачной инфраструктуры на основе объединения сервисов, находящихся в различных облачных средах.
В настоящее время развитие облачных инфраструктур (и реализующих их технологий) в полной мере обеспечивает прохождение первых трех этапов. Четвертый этап, связанный с проведением аудита, измерением производительности и полным контролем над выполнением
сервисов, к сожалению, находится в зачаточном состоянии, как в силу специфики измерения характеристик сервисов в распределенной среде, так и из-за отсутствия развитых сред облачных вычислений, требующих полномасштабного решения данных задач.
В настоящей статье представлена перспективная разработка, ориентированная на покрытие всех пяти этапов CCMM — многофункциональная инструментально-технологическая платформа CLAVIRE (CLoud Applications VIRtual Environment).
Облачные технологии второго поколения. Технологии облачных вычислений имеет смысл разделить на два класса (по аналогии с технологиями Грид [4]): облачные вычисления первого (С-1) и второго поколения (С-2). Технологии первого поколения соответствуют этапам I—III ССММ и покрывают все три бизнес-модели (IaaS, PaaS, SaaS). Рынок таких решений уже достаточно насыщен, хотя продолжает эволюционировать весьма быстро [5]. Технологии С-2, напротив, во многом остаются предметом исследовательских проектов. Это связано с тем, что требования этапов IV—V CCMM реализуемы только при совокупном использовании возможностей современных информационных технологий и априорных знаний предметных областей, на которые ориентируется разработка. Иными словами, облачные вычисления второго поколения основываются на проблемно-ориентированных технологиях решения комплексных задач в распределенной вычислительной среде. При этом синергетическое сочетание моделей IaaS, PaaS, SaaS приводит к возникновению новой бизнес-модели — AaaS (приложение как сервис). Основной услугой в рамках данной модели является разработка и использование композитных приложений — совокупности взаимодействующих сервисов в облачной среде, ориентированных на решение общей задачи.
В настоящее время развитию технологий С-2 препятствует ряд технологических аспектов:
— разнообразие и неоднородность предметно-ориентированных сервисов в неструктурированном облаке, что делает необходимым развитие интеллектуальных технологий аннотирования, поиска, применения сервисов (формализация знаний);
— декларативная запись композитных приложений, которая не допускает явной алгоритмической интерпретации. Для решения этой задачи требуются технологии эффективного управления их исполнением в распределенной среде;
— использование коммуникационных сетей общего назначения со случайными вариациями загрузки сказывается на специфике учета, распределения и балансировки нагрузки в облачной среде. Как следствие, целесообразно осуществлять планирование исполнения, квотирование и тарификацию на вероятностной основе;
— высокая инерционность среды облачных вычислений, что требует, в частности, развития специальных технологий сопряжения с системами, работающими в режиме реального времени (например, для интерактивной визуализации в ситуационных центрах).
Совокупное преодоление указанных факторов становится возможным на основе симбиотического подхода в рамках концепции iPSE (Intelligent Problem Solving Environment) [6, 7], которая ориентирована на развитие интеллектуальных технологий поддержки жизненного цикла проблемно-ориентированных сред распределенных вычислений. Данная концепция воплощена в многофункциональной инструментально-технологической платформе (МИТП) CLAVIRE, предназначенной для эффективного управления вычислительными, информационными и программными ресурсами распределенных неоднородных вычислительных инфраструктур в рамках модели облачных вычислений второго поколения. МИТП поддерживает процессы создания, исполнения, управления и предоставления сервисов доступа к предметно-ориентированным высокопроизводительным композитным приложениям, функционирующим на основе облака распределенных прикладных сервисов.
Принципы функционирования МИТП CLAVIRE. МИТП может быть использована в основе инновационных производств, предоставляющих пользователям через Интернет высокопроизводительные предметно-ориентированные сервисы в рамках модели облачных вычислений для различных нужд науки, промышленности, бизнеса и социальной сферы, с возможностью использования ресурсов уже существующих распределенных вычислительных инфраструктур (выделенных суперкомпьютеров, Грид, облачных сред первого поколения). Особенности применения и конфигурирования МИТП в конкретных предметных областях определяются в каждом случае общими потребностями данной области в широкодоступных высокопроизводительных вычислениях и наличием прикладного ПО, допускающего предоставление в форме облачных сервисов.
Организация процесса создания и исполнения композитного приложения под управлением МИТП в рамках концепции iPSE сводится к последовательной формализации наборов описаний в терминах потоков заданий (workflow, WF). Верхним уровнем описания приложения является мета-WF (далее MWF). В нем отдельные блоки содержат лишь описания расчетных задач, нужных пользователю, в виде неявных указаний. Таким образом, составленный MWF представляет собой формальное описание пользовательской задачи в терминах предметной области, без указаний на условия ее реализации. Помимо описания действий и данных, необходимых для вычислений, пользователь может задавать критерии, по которым будут подбираться конкретные сервисы, ресурсы, данные (например, время выполнения или высокая надежность), а также дополнительные ограничения и параметры отдельных действий (например, требуемая точность результата).
Проектирование композитного приложения при таком задании исходных данных будет представлять собой процесс поэтапного уточнения MWF через стадии абстрактного (AWF) и конкретного WF (CWF) вплоть до создания конкретных сценариев запуска сервисов в облачной среде и дальнейшего их выполнения. На первом этапе процесса проектирования композитного приложения создается MWF. Пользователь может, например, выбирать классы сервисов, которые доступны в облачной среде, по мере ввода дополнительной информации. Указанные пользователем классы сервисов будут использоваться на следующем этапе для подбора конкретных сервисов. Далее создается WF, в котором уже зафиксированы конкретные реализации вычислительных сервисов, однако еще ничего не известно об условиях их выполнения (AWF). Следующим этапом процесса проектирования является построение расписания и создание сценария выполнения в терминах CWF, который представляет собой WF с полностью определенными блоками. Для блоков действий указаны сервисы и узлы для исполнения, а для блоков данных — конкретное местоположение необходимых данных. На рисунке представлена принципиальная схема создания и исполнения композитного приложения под управлением МИТП, общая для всех способов организации облачной среды.
Более подробно модели, методы и технологии, используемые в МИТП CLAVIRE, рассмотрены в работах [8—11].
Технологические платформы на основе МИТП CLAVIRE. МИТП представляет собой инструментальную оболочку, которая позволяет строить различные технологические платформы поддержки облачных вычислений исходя из специфики конкретной задачи.
Технологическая платформа МИТП-К предназначена для создания распределенных корпоративных программных приложений для компьютерного моделирования сложных систем и поддержки принятия решений по управлению комплексными объектами. Специфической особенностью МИТП-К является то, что она использует исключительно корпоративные вычислительные ресурсы. Иными словами, МИТП-К представляет собой программную платформу корпоративного уровня, которая разворачивается на вычислительных ресурсах заказчика (предприятия, имеющего потребность в соответствующих расчетах) и далее используется исключительно его сотрудниками через соответствующую вычислительную сеть.
Пользователь
^ 1 \
Описание задачи в терминах предметной области
Дополнительные требования к процедуре решения
Результат решения задачи
Интерфейс пользователя
Интеллектуальная система
Управление исполнением
Формальное описание в терминологии БЗ
I
Мета-^=
Статус задачи
Формальное
описание предметной области
Декомпозиция задачи
Отображение на набор доступных метасервисов
ГчЧЧЧЧЧЧЧЧЧЧЧЧЛ
Абстрактный ^
\\\\\\\\\\\\\>|
Техническая настройка WF
(ЧЧЧЧЧЧ^ЧЧЧЧЧ^
Конкретный WF
Анализ результата
Актуальное состояние вычислительных сервисов
( ) - объекты обработки
в) - фазы эволюции WF
- базовые (высокоуровневые) процедуры
—► - информационные связи
Такая схема относится к вырожденной модели БааБ/ЛааБ: само технологическое решение предоставляется предприятию по традиционным вендорским схемам; аналогичным образом предприятием закупается необходимое прикладное ПО для предоставления через МИТП. Предприятие выполняет обязанности провайдера сервисов (исключительно своим сотрудникам); основное преимущество такого подхода связано не с продажами сервисов (как в полной модели БааБ), а с реструктуризацией затрат на обеспечение корпоративной ИТ-инфраструктуры.
Технологическая платформа МИТП-М является инструментальной надстройкой над Грид-средами I поколения, которая обеспечивает высокоуровневый интерфейс к прикладным пакетам, сервисам и композитным приложениям на их основе. За функционирование МИТП-М (в отличие от МИТП-К) отвечает специальная организация — провайдер услуг МИТП-М. В ряде случаев в качестве такой организации может выступать сам оператор Грид-среды, однако это требует приобретения и инсталляции ПО МИТП-М на его собственной инфраструктуре. МИТП-М позволяет реализовать модель БааБ в рамках „публичного" облака, однако имеет определенные ограничения на способы взаиморасчетов за услуги: в данном случае основным владельцем транспортной сети и прикладных сервисов является оператор Грид-сети, а не провайдер услуг МИТП-М, который и определяет соответствующие правила.
Технологическая платформа МИТП-Ц является специализированным средством для создания инфраструктуры проблемно-ориентированных центров компетенции в различных предметных областях. Задачей центров компетенции является, в частности, интеграция прикладного ПО, покрывающего решение определенного класса задач, а также необходимых для этого вычислительных ресурсов и источников данных. При этом обоснование выбора и принципов взаимосвязи элементов ПО является задачей специалистов-экспертов центра компетенции. Поэтому пользователь такого центра в рамках модели БааБ может рассчитывать не только на доступ к конкретным приложениям (в форме сервисов), но и на услуги в области информационной и интеллектуальной поддержки по выбору и настройке сервисов, а также создания на их основе композитных приложений. Центр компетенции должен обеспечить возможность исполнения выбранного сервиса или приложения на необходимых для этого ресурсах: на собственных выделенных системах или на „арендованных" мощностях в Грид-средах или облачных средах I поколения. Таким образом, центр компетенции играет роль провайдера услуг МИТП-Ц в рамках модели БааБ. Управляющая инфраструктура МИТП-Ц, равно как и МИТП-К, развертывается на ресурсах внешней организации (в данном случае — центра компетенции), однако, в отличие от МИТП-К, вычислительная инфраструктура ориентирована на использование как собственных, так и внешних ресурсов. МИТП-Ц позволяет реализовать полномасштабную модель БааБ в рамках „публичного" облака; в отличие от МИТП-М, в данном случае правила предоставления услуг определяются только провайдером МИТП-Ц (самим центром компетенции).
Технологическая платформа МИТП-Э является средством поддержки ситуационных центров, специализирующихся на поддержке принятия решений в различных критических ситуациях, в условиях неопределенности и неполноты исходных данных. В отличие от МИТП-К, МИТП-М, ситуационный центр помимо клиентских (персональных) компьютеров для доступа в Интернет обладает специализированными средствами поддержки принятия решений — широкоэкранными системами визуализации и виртуальной реальности. Потому задача МИТП-Э сводится, в первую очередь, к обеспечению эффективного процесса построения и исследования модельных сценариев развития экстремальных ситуаций с возможностью их интерактивной визуализации. Спецификой экстренных вычислений является то, что соответствующая вычислительная архитектура формируется динамически, с выбором ресурсов под решение конкретной задачи за определенное время (не превышающее допустимого времени принятия решений). Учитывая относительную редкость возникновения критических
ситуаций, оснащать ситуационные центры центрами обработки данных (ЦОД), по аналогии с центрами компетенции, нецелесообразно. Потому МИТП-Э развертывается и эксплуатируется специальной организацией — провайдером услуг МИТП-Э. Ее потребителями являются ситуационные центры, специализированные в различных областях.
Технологическая платформа МИТП-Д является аналогом МИТП-Ц, позволяющим решать задачу поиска и обработки больших объемов данных в распределенных хранилищах. Поскольку эта задача может быть связана с различными предметными областями, провайдером МИТП-Д является не предметно-ориентированный центр компетенции (как для МИТП-Ц), а специализированная организация, предоставляющая разнообразные сервисы работы с данными в Интернете и содержащая соответствующий ЦОД. Предметом деятельности такой организации может быть (помимо собственно SaaS/AaaS) консалтинг по различным направлениям, основанный на анализе и мониторинге „живых" публичных данных в Интернете. В качестве основного источника публичных данных, обеспечивающих процессы работы с МИТП-Д, рассматриваются социальные сети в Интернете. Несмотря на то что физически эти данные могут не требовать размещения в распределенном хранилище (достаточно использовать серверы оператора социальной сети), при выборе способа их сбора, обработки и анализа исходят из логической распределенности, обусловленной связями между фрагментами данных — узлами социальной сети. Поскольку объемы информации в современных социальных сетях огромны, такой подход оправдан, потому что позволяет отказаться от ресурсоемких операций обработки всей базы данных в пользу связеориентированных технологий (например, обхода базы по соответствующим связям между узлами). Кроме того, это позволяет обеспечить доступ к данным стандартными средствами социальной сети (через Интернет), без специальных договоренностей с оператором о полном доступе к его базе данных (что в большинстве случаев является невозможным).
Особенности коммерциализации МИТП. Внедрение и коммерциализация МИТП и технологических платформ на ее основе связаны с задачей организации учета (биллин-га) и платежных отношений, поскольку исполнение WF является комплексной услугой, в которой один или несколько образцов ПО используются в рамках модели SaaS/AaaS. При любой системе учета специфика расчетов за пользование композитным приложением состоит в том, что пользователи могут рассматривать обращение к МИТП как разовый процесс, не предполагающий наличия предварительных договорных обязательств. Потому (в идеальной ситуации) все расчеты должны проводиться в электронной форме в режиме реального времени. Дифференцированная форма учета услуг SaaS/AaaS предполагет наличие различных тарифов — от безлимитной подписки с заданным уровнем качества (SLA) до оплаты конкретных вычислительных затрат. Возможны различные формы отношений (от договоров на постоянное обслуживание, заключаемых традиционным путем, до электронных договоров „по факту" в реальном времени). Кроме того, должны поддерживаться различные механизмы оплаты (традиционные, с помощью средств eCommerce и mCommerce), поддерживающие как банковские, так и небанковские формы платежей. В целом, это позволит сформировать однозначные и легитимные схемы распределения выручки между всеми участниками бизнес-процесса функционирования МИТП (провайдер МИТП, операторы распределенных сред, провайдеры ресурсов и сервисов, разработчики приложений и пр.), учитывающие не только фактические затраты на исполнение конкретного композитного приложения, но и интересы владельцев интеллектуальной собственности (ПО и баз данных), используемой в WF.
Заключение. МИТП CLAVIRE предназначена для создания, исполнения и предоставления сервисов доступа к предметно-ориентированным высокопроизводительным композитным приложениям, функционирующим в облаке неоднородных вычислительных ресурсов
корпоративного уровня, уровня центров компетенции, центров обработки данных, инфраструктур экстренных вычислений и систем распределенного хранения и обработки данных. На ее основе реализуется ряд успешных проектов создания проблемно-ориентированных сред облачных вычислений [12, 13].
Работа выполнена в рамках проектов по реализации Постановлений № 218 и 220 Правительства Российской Федерации.
список литературы
1. NIST.gov — Computer Security Division — Computer Security Resource Center [Электронный ресурс]: <http://csrc.nist.gov/groups/SNS/cloud-computing/>.
2. Defining the Cloud Computing Framework // Cloud Computing Journal [Электронный ресурс]: <http://cloudcomputing. sys-con.com/node/811519>.
3. GTSI Cloud Computing Maturity Model [Электронный ресурс]: <http://www.gtsi.com/cms/documents/White-Papers/Cloud-Computing.pdf>.
4. Foster I., Kesselman C. The Grid2: Blueprint for a New Computing Infrastructure. Morgan-Kaufman, 2004. 748 р.
5. Twenty-One Experts Define Cloud Computing // Cloud Computing Journal [Электронный ресурс]: <http://cloudcomputing.sys-con.com/node/612375/>.
6. Бухановский А. В., Ковальчук С. В., Марьин С. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации // Изв. вузов. Приборостроение. 2009. Т. 52, № 10. C. 5—24.
7. Бухановский А. В., Васильев В. Н. Современные программные комплексы компьютерного моделирования e-Science // Изв. вузов. Приборостроение. 2010. Т. 53, № 3. C. 60—64.
8. Ковальчук С. В., Маслов В. Г. Интеллектуальная поддержка процесса конструирования композитных приложений в распределенных проблемно-ориентированных средах // Изв. вузов. Приборостроение. 2011. Т. 54, № 10. C. 29—36.
9. Марьин С. В., Ковальчук С. В. Сервисно-ориентированная платформа исполнения композитных приложений в распределенной среде // Там же. C. 21—29.
10. Князьков К. В., Ларченко А. В. Предметно-ориентированные технологии разработки приложений в распределенных средах // Там же. C. 36—43.
11. Князьков К. В. Особенности работы с потоками задач длительного исполнения в рамках концепции IPSE // Там же. C.97—100.
12. Иванов С. В., Болгова Е. В., Каширин В. В., Якушев А. В., Чугунов А. В., Бухановский А. В. Web-ориентированный производственно-исследовательский центр „Социодинамика" // Там же. C. 65—72.
13. Спельников Д. М., Гуськов А. А., Маслов В. Г., Бухановский А. В. Учебно-научный комплекс „Компьютерное моделирование в нанотехнологиях" на основе Грид-среды // Там же. C. 44—50.
Сведения об авторах
Александр Валерьевич Бухановский — д-р техн. наук, профессор; НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; директор; E-mail: avb_mail@mail.ru
Владимир Николаевич Васильев — д-р техн. наук, профессор; Санкт-Петербургский государственный
университет информационных технологий, механики и оптики; ректор
Валерий Николаевич Виноградов — ЗАО „Фирма АйТи. Информационные технологии", Центр управления проектами, Москва; директор; E-mail: VVinogradov@it.ru Дмитрий Юрьевич Смирнов — ЗАО „Фирма АйТи. Информационные технологии", Дирекция по
работе с государственным и образовательным секторами, Москва; руководитель; E-mail: DSmirnov@it.ru
Сергей Анатольевич Сухорукое — ЗАО „Фирма АйТи. Информационные технологии", Дирекция по
работе с государственным и образовательным секторами, Москва; заместитель руководителя; E-mail: SSukhorukov@it.ru Тагир Галеевич Яппаров — ЗАО „Фирма АйТи. Информационные технологии", Москва, пред-
седатель совета директоров; E-mail: TYapparov@it.ru
Рекомендована НИИ НКТ Поступила в редакцию
15.05.11 г.
УДК 681.3.069, 681.324
А. В. Бухановский, А. Н. Житников, С. Г. Петросян, П. М. А. Слоот
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ТЕХНОЛОГИИ ЭКСТРЕННЫХ ВЫЧИСЛЕНИЙ ДЛЯ ПРЕДОТВРАЩЕНИЯ УГРОЗЫ НАВОДНЕНИЙ
Рассматриваются вопросы применения технологий экстренных вычислений при организации и разработке систем предотвращения угрозы наводнений на примере Санкт-Петербурга.
Ключевые слова: экстренные вычисления, поддержка принятия решений, суперкомпьютеры, Грид, прогноз уровня и течений, усвоение данных.
Эффективность предотвращения природных и техногенных катастроф зависит не только от возможности их заблаговременного предсказания, но и от выработки адекватных и своевременных мер, позволяющих минимизировать возможный ущерб. Поэтому в современных технологиях активно используется ресурсоемкое компьютерное моделирование различных сценариев действий в экстремальных ситуациях, что дает возможность исследовать различные варианты эволюции событий, приводящих к неблагоприятным последствиям. Процесс поддержки принятия решений сводится к определению наиболее вероятных сценариев развития ситуации и выявлению „узких мест", критичных с точки зрения дальнейшего негативного влияния на ее общий исход [1]. Это дает возможность рассматривать формирование мер противодействия, позволяющих уменьшить или вообще устранить последствия экстремальной ситуации, как решение задачи оптимизации.
В целом при таком подходе высокая вычислительная сложность компьютерного моделирования отдельных сценариев совмещается с жестко заданным сроком получения результатов расчетов, напрямую связанным с допустимым временем принятия решений. При этом основной проблемой является существенная неоднородность вычислительных задач, поскольку, в зависимости от развития ситуации, для реализации того или иного сценария могут быть использованы различные вычислительные приложения, предъявляющие различные требования к вычислительным ресурсам и организации данных. Преодолеть эту проблему позволяет специфическое направление суперкомпьютерных технологий — технологии экстренных вычислений (ЭВ) [2].
В настоящей статье рассматриваются аспекты применения технологий ЭВ для организации системы предотвращения угрозы наводнений в Санкт-Петербурге.
Концепция экстренных вычислений. Под ЭВ понимается процесс организации высокопроизводительных вычислений в целях компьютерного моделирования экстремальных ситуаций для поддержки принятия решений в условиях ограниченного времени решений. Основная задача ЭВ состоит в том, чтобы динамически сформировать и контролировать пул
