CC BY
76
Оригинальная статья / Original article УДК 004.942
http://dx.doi.org/10.21285/1814-3520-2017-12-105-113
АВТОМАТИЗАЦИЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ СИСТЕМ МАССОВОГО ОБСЛУЖИВАНИЯ В GRID
© А.Г. Феоктистов1, О.Ю. Башарина2, Ю.А. Дядькин3, Е.С Фереферов4
1,3,4Институт динамики систем и теории управления СО РАН, Российская Федерация, 664033, г. Иркутск, ул. Лермонтова, 134. 2,3Иркутский государственный университет, Российская Федерация, 664003, г. Иркутск, ул. Карла Маркса, 1. 2Иркутский национальный исследовательский технический университет, Российская Федерация, 664074, г. Иркутск, ул. Лермонтова, 83.
РЕЗЮМЕ. Имитационное моделирование играет важную роль в исследовании сложных систем массового обслуживания. В настоящее время проблема его автоматизации в распределенной вычислительной среде, например, в Grid, является чрезвычайно актуальной. Известные средства имитационного моделирования таких систем зачастую не используют в полной мере все возможности предметно-ориентированных распределенных вычислений. ЦЕЛЬ. Целью данного исследования является разработка интеллектных моделей, алгоритмов, методов и инструментальных средств, интегрированных в рамках единой технологии поддержки принятия решений по управлению системами массового обслуживания на основе их имитационного моделирования в гетерогенной распределенной вычислительной среде, включающей суперкомпьютеры. МЕТОДЫ. В статье представлены новые инструментальные средства автоматизации имитационного моделирования систем массового обслуживания в Grid с виртуализированными ресурсами на основе многовариантных расчетов. Автоматизация моделирования базируется на комплексном применении методов концептуального и каркасного программирования, планирования вычислений и распределения ресурсов, организации многовариантных расчетов и многокритериального анализа данных. Разработанные методы и средства интегрируются в единую информационно-вычислительную технологию моделирования систем массового обслуживания. РЕЗУЛЬТАТЫ. Разработанные в рамках проведенного исследования инструментальные средства и методы применены в процессе решения задачи анализа эффективности функционирования типового лечебно-профилактического учреждения. Эксперименты выполнены в гетерогенной распределенной вычислительной среде, организованной на базе ресурсов Центра коллективного пользования «Иркутский суперкомпьютерный центр СО РАН». ВЫВОДЫ. Вычислительные эксперименты показывают высокую масштабируемость приложения, созданного с помощью предложенных инструментальных средств, для имитационного моделирования параметрических особенностей структуры лечебно-профилактического учреждения.
Ключевые слова: системы массового обслуживания, моделирование, Grid, виртуальные машины, автоматизация.
Формат цитирования: Феоктистов А.Г., Башарина О.Ю., Дядькин Ю.А., Фереферов Е.С. Автоматизация имитационного моделирования систем массового обслуживания в Grid // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 12. С. 105-113. DOI: 10.21285/1814-3520-2017-12-105-113
Феоктистов Александр Геннадьевич, кандидат технических наук, старший научный сотрудник лаборатории параллельных и распределенных вычислительных систем, e-mail: [email protected]
Aleksandr G. Feoktistov, Candidate of technical sciences, Senior Researcher of the Laboratory of Concurrent and Distributed Computing Systems, e-mail: [email protected]
2Башарина Ольга Юрьевна, кандидат технических наук, доцент кафедры естественных дисциплин ИГУ, магистрант ИРНИТУ, e-mail: [email protected]
Olga Yu. Basharina, Candidate of technical sciences, Associate Professor of the Department of Natural Sciences of Irkutsk State University, Master's Degree Student of INRT U, e-mail: [email protected]
3Дядькин Юрий Алексеевич, старший преподаватель кафедры информатики и методики обучения информатике ИГУ, аспирант ИДСТУ, e-mail: [email protected]
Yuri A. Dyadkin, Senior Lecturer of the Department of Information Science and Methodology of Information Science Training, Postgraduate Student of Matrosov Institute for System Dynamics and Control Theory of SB RAS, e-mail: [email protected]
4Фереферов Евгений Сергеевич, кандидат технических наук, научный сотрудник лаборатории комплексных информационных систем, e-mail: [email protected]
Evgeny S. Fereferov, Candidate of technical sciences, Researcher of the Laboratory of Complex Information Systems, e-mail: [email protected]
AUTOMATION OF QUEUING SYSTEM SIMULATION MODELING IN GRID A.G. Feoktistov, O.Yu. Basharina, Yu.A. Dyadkin, E.S. Fereferov
Matrosov Institute for System Dynamics and Control Theory of SB RAS, 134 Lermontov St., Irkutsk 664033, Russian Federation Irkutsk State University,
1 Karl Marks St., Irkutsk 664003, Russian Federation Irkutsk National Research Technical University, 83 Lermontov St., Irkutsk 664074, Russian Federation
ABSTRACT. Simulation modeling plays an important role in studying complex queuing systems. The problem of queuing automation in a distributed computing environment, for example in Grid, is extremely relevant today since the known simulation tools of such systems often do not take full advantage of all capabilities of object-oriented distributed computing. The PURPOSE of this study is development of intelligent models, algorithms, methods and tools integrated within a single technology of decision support in order to manage queuing systems based on their simulation modeling in a heterogeneous distributed computing environment including supercomputers. METHODS. The article presents new tools for the automation of queuing system simulation in Grid with the virtualized resources based on multivariate calculations. Simulation automation is based on the integrated application of conceptual and skeleton programming methods, calculation planning and resource distribution as well as the organization of multivariate calculations and multicriteria data analysis. The developed methods and tools are integrated into a single information and computing technology of queuing system simulation. RESULTS. The tools and methods developed in the course of the study have been used for the solution of the problem of the operation effectiveness analysis of a typical health and care facility. The experiments have been performed in a heterogeneous distributed computing environment organized on the basis of the resources of the Center for Collective Use "Irkutsk Supercomputer Center of the SB RAS". CONCLUSIONS. Computational experiments show the high scalability of the application created with the help of the proposed instrumental tools for the simulation modeling of the parametric features of the health and care facility structure. Keywords: queuing systems, simulation, Grid, virtual machines, automation
For citation: Feoktistov A.G., Basharina O.Yu., Dyadkin Yu.A., Fereferov E.S. Automation of simulation modeling of queuing systems in GRID. Proceedings of Irkutsk State Technical University. 2017, vol. 21, no. 12, pp. 105-113. (In Russian) DOI: 10.21285/1814-3520-2017-12-105-113
Введение
В настоящее время повышение эффективности управления сложными системами может быть достигнуто только за счет интеллектуализации управляющей системы [1]. Применительно к процессу исследования систем массового обслуживания (СМО) современные тенденции заключаются в развитии методов и средств извлечения предметных данных [2], а также в использовании гибридных моделей, базирующихся на согласованном применении аналитических и имитационных методов моделирования в сочетании с мультиагентными технологиями [3]. Агентный подход обеспечивает необходимые свойства самоорганизации исследуемой системы, присущие реальной среде ее функционирования.
На основе анализа тенденций организации, развития и использования современных программных комплексов для имитационного моделирования СМО [4-6] можно сформулировать требования к процессу исследования таких систем, необхо-
димые для поддержки эффективного управления в них:
- учет специфики предметной области СМО;
- обеспечение возможности комплексного использования семейства аналитических, агентных и имитационных моделей СМО;
- применение средств конструирования имитационных моделей;
- поддержка анализа экспериментальных данных и принятия решений на основе методов и средств решения оптимизационных задач;
- применение методов и средств высокопроизводительных вычислений в процессе имитационного моделирования;
- наличие сервис-ориентированного доступа к средствам моделирования;
- автоматизация всех этапов проведения экспериментов;
- предоставление конечным пользователям методики проведения экспериментов.
В статье представлена интеллект-ная (использующая элементы искусствен-
Методы и средства автоматизации
В процессе автоматизации конструирования имитационной модели СМО на языке GPSS [7] в качестве базовой структуры системы рассматривается модель (M/M/K):(FCFS/N/ ^) [8], применимая к широкому спектру организаций в различных сферах деятельности. Данная модель подразумевает пуассоновское распределение моментов поступления заявок в систему и экспоненциальное распределение интервалов времени их обслуживания, конечное число K параллельно работающих сервисов, тип дисциплины обслуживания очереди - FCFS (First Come, First Served), конечное число N заявок в очереди, принятых на обслуживание, и неограниченную емкость источника, генерирующего эти заявки. Отдельные компоненты базовой структуры СМО могут быть специализированы в процессе подготовки фрагментов ее имитационной модели.
Для извлечения знаний о предметной области СМО с целью учета ее специфики разработаны новые модели, методы и инструментальные средства концептуального моделирования, обеспечивающие получение знаний об объектах СМО, их атрибутах и взаимосвязях в терминах параметров и операций исследуемой предметной области, а также построение схем бизнес-процессов, протекающих в системе, и определение оптимальных условий их выполнения на основе продукционных знаний. Операции (фазы) обслуживания заявки в СМО могут компоноваться с помощью управляющих конструкций ветвления и цикла. Отличительной особенностью средств концептуального моделирования является возможность автоматизации динамического построения пользовательского интерфейса для наполнения базы знаний предметной области СМО.
ного интеллекта) технология обеспечения процесса исследования СМО и принятия решений в соответствии с вышеперечисленными требованиями.
построения и применения моделей
Процесс построения имитационной модели по описанию предметной области базируется на сочетании каркасного и модульного подходов к конструированию программ. Использование модульного подхода обеспечивает ряд важных преимуществ. Во-первых, достаточно гибкую модификацию и «безболезненное» развитие математического и программного базиса для моделирования исследуемой системы посредством добавления или замены модулей этого базиса новыми модулями, в том числе модулями уже разработанных библиотек шаблонов типовых объектов исследуемых систем. Во-вторых, быструю «точечную» реализацию дополнительных возможностей моделирования процессов функционирования системы. В-третьих, возможность реализации вспомогательных аналитических и агентных моделей в виде модулей.
Модули (вычислительные знания) представляют собой программную реализацию моделей и алгоритмов функционирования бизнес-процессов, представленных параметрами и операциями (схемными знаниями) предметной области СМО.
Для выбора в процессе моделирования СМО оптимальных алгоритмов, реализующих бизнес-процессы, использованы продукционные знания, определяющие условия применения конкретного алгоритма в зависимости от текущего состояния исследуемой системы.
В отличие от известных систем, реализующих агентное моделирование, например, AnyLogic [9], агенты разрабатываются с помощью инструментария JADE [10], а модель их поведения строится с помощью специальной надстройки к этому инструментарию, обеспечивающей описание предметной области представленного
агентом объекта и планирование действий этого агента по принятию им решений в рамках данного локального объекта. В GPSS-модели взаимодействие с агентом реализуется с помощью вызовов внешних функций средствами встроенного языка PLUS [7], что позволяет подключать агентов к информационно-управляющей системе реальной СМО.
Имитационная модель создается в качестве приложения, поддерживающего многовариантные расчеты и генерирующего большое число заданий (parameter sweep application) [11]. При многовариантных расчетах исследователь настраивает значения варьируемых входных переменных модели путем перебора их значений в определенных диапазонах. В процессе моделирования выполняется имитация процесса работы исследуемой системы путем прогона модели для каждого сочетания значений варьируемых переменных.
Каждое независимое задание запускает модель с единственным вариантом значений ее входных переменных. Запуск заданий может осуществляться параллельно. Вычисления хорошо масштабируются, так как задания не связаны между собой. В приложении могут быть использованы библиотеки типовых имитационных моделей СМО на языке GPSS.
Разработаны новые модели и алгоритмы анализа экспериментальных данных (значений входных и наблюдаемых переменных) и принятия решений по следующей схеме:
- решение прямой задачи с целью определения множества оптимальных вариантов наблюдаемых переменных (критериев качества функционирования исследуемой СМО);
- решение обратной задачи для нахождения оптимальных вариантов значений входных переменных (факторов, определяющих условия функционирования системы);
- формирование управляющих воздействий (поддержка принятия решений) в системе на основе найденных оптимальных вариантов значений входных переменных.
Поиск оптимальных решений основывается на использовании многокритериальных методов выбора, таких как Парето-оптимальный, лексикографический, мажоритарный и др. [12]. Использование того или иного метода будет зависеть от степени полноты информации о сравниваемых критериях, предоставляемой специалистами в предметной области. Для получения оценок близости значений критериев к их оптимальным значениям разработаны оригинальные алгоритмы. Агенты, подключенные к информационно-управляющей системе, имеют возможность вносить в нее сформированные управляющие воздействия.
В настоящее время эффективное решение больших задач, таких как исследование СМО путем многовариантных расчетов, требует применения высокопроизводительных вычислительных систем. Суперкомпьютеры, как правило, составляют основу таких систем. Интеграция суперкомпьютеров в единую Grid и виртуализация их ресурсов позволяют обеспечить необходимые совокупные возможности для поддержки крупномасштабных и сложно структурированных расчетов.
С учетом использования для исследования СМО GPSS-моделей, функционирующих под управлением ОС Windows, требуется применение средств виртуализации ресурсов Grid, организованной на базе центра коллективного пользования (ЦКП) «Иркутский суперкомпьютерный центр СО РАН» (ИСКЦ).
Выделенные виртуализированные ресурсы суперкомпьютера управляются гипервизорами. Однако в настоящее время гипервизоры и связующее программное обеспечение для работы c ними не поддерживают взаимодействие c внешними системами управления прохождением заданиями (СУПЗ), используемыми в невыделенных ресурсах Grid. Это обстоятельство не позволяет эффективно управлять нагрузкой ресурсов среды.
В качестве средства виртуализации среды использована сервис-ориентированная платформа OpenStack [13], обеспечи-
вающая взаимодеиствие с различными ги-первизорами, а также с системами управления контейнерами. В дополнение к сервис-ориентированной платформе разработана специализированная оболочка гипер-визора для запуска виртуальных машин из очередей традиционных СУПЗ, используемых на суперкомпьютерах ЦКП ИСКЦ.
Планирование вычислений и распределение потоков заданий между гипер-визорами и оболочкой гипервизора осуществляется с помощью специализированного планировщика. Такой подход в случае большой нагрузки на виртуализированные ресурсы позволяет перераспределить ее на свободные невыделенные узлы Grid. Гипервизорная оболочка размещается в управляющих узлах суперкомпьютеров
Grid. В соответствии с полученным запросом она создает задание для СУПЗ суперкомпьютера. Оболочка обеспечивает также следующие возможности:
- мониторинг текущего состояния очередей СУПЗ с целью нахождения свободных ресурсов;
- добавление заданий для запуска виртуальных машин в выбранную очередь СУПЗ;
- конфигурацию запущенных виртуальных машин;
- мониторинг вычислений, выполняемых в виртуальных машинах;
- миграцию виртуальных машин; завершение виртуальных машин и освобождение используемых ресурсов.
Типовая модель лечебно-профилактического учреждения
Разработанные в рамках исследования инструментальные средства и методы применены в процессе решения задачи анализа эффективности функционирования типового лечебно-профилактического учреждения (ЛПУ). Типовое ЛПУ состоит из нескольких основных подразделений (поликлиника, диагностический центр, стационар и другие структурные единицы), которые в имитационной модели определяются
как одноканальные и многоканальные устройства.
На рис. 1 представлена общая схема обслуживания пациентов в медицинском учреждении. Первое обслуживающее устройство - регистратура - направляет пациента в зависимости от его заболевания на прием к определенному специалисту. Для оплаты некоторых видов услуг в учреждении предусмотрена работа кассы.
Терапевтическое отделение / Therapeutic department
Хирургическое отделение / Surgery department
Окулист / Ophthalmologist
Отделение офтальмологии / Ophthalmology Department
Выход / Exit
Стоматолог / Dentist
Отделение челюстно-лицевой хирургии / Department of Maxillofacial Surgery
Рис. 1. Типовая схема обслуживания пациентов Fig. 1. Typical scheme of patient service
По итогам врачебного осмотра обслуживание пациента в системе либо заканчивается, либо он направляется на дополнительное обследование в лабораторию и/или на лечение в стационар.
Результаты имитационного моделирования позволяют получить информацию о загрузке отдельных участков ЛПУ, наличии очередей, средней длительности пребывания пациента в системе и другие важные данные. Эти знания помогают принять решения об оптимизации работы медицинского учреждения путем уменьшения оче-
редей, перераспределения потоков работ, улучшения режимов работы врачей.
Подразделения ЛПУ представлены в имитационной модели отдельными сегментами (регистратура, прием у врача, обслуживание в лаборатории, стационар), каждый из которых имеет свои особенности и набор входных переменных и наблюдаемых величин. В таблице приведено описание сегмента «Регистратура».
На рис. 2 приведен сегмент «Регистратура» на языке ОРББ.
Характеристики сегмента «Регистратура» Characteristics of the "Registry" segment
Характеристика / Characteristic Описание / Description
Транзакты / Transactions Пациенты / Patients
Сервисы / Services Медицинские регистраторы / Medical registrars
Модельное время / Model time 12 часов (1 рабочий день лечебно-профилактического учреждения с 7:00 до 19:00) / 12 hours (1 working day of a health care facility from 7:00 to 19:00)
Входные переменные / Input variables Число регистраторов; время обслуживания клиентов регистраторами; интенсивность потока клиентов в регистратуру / Number of registrars; customer service time by registrars, customer flow intensity to the registry
Наблюдаемые величины / Observed variables Максимальный и средний размеры очереди; максимальное время ожидания клиентом; минимальное; максимальное и среднее число клиентов в день; коэффициент загруженности регистраторов / Maximum and average queue sizes; customer's maximum waiting time; minimum, maximum and average number of customers per day; registrar load factor
Особенности модели / Model features Интенсивность потока пациентов различается в зависимости от времени суток, дня недели и сезона (пик наплыва пациентов приходится на утренние часы, в понедельник и в весенний период) / Patient flow intensity varies depending on the time of day, day of the week and season (the patient arrival peak is in the morning, on Monday and in spring)
GENERATE Inteïvall,t>tJcll
QUEUE Registry
ENTER Registry
DEPART Registry
ADVANCE Interval:,Ot)cl2
ASSIGN 1,(V$Direccion}
LEAVE Registry
TRANSFER P,1
Поступление заявки на обслуживание в регистратуре /
Encry of che requesc for service ас che regiscry
Поступление заявки в очередь /
Encry of che requesc со che queue
Начало обслуживания в регистратуре /
Stare of service in che registry
Выход заявки из очереди /
Exic the requesc from the queue
Обслуживание заявки в регистратуре /
Service of che requesc in che regiscry
Получение направления на дальнекотее обслуживание /
Geccing directions for fuccher services
Завершение обслуживания в регистратуре /
End of service in che regiscry
Переход к дальнейшему обслуживанию /
Transition со further services
Рис. 2. Сегмент «Регистратура» Fig. 2. "Registry" segment
Вычислительный эксперимент
Для исследования рассмотренной выше модели разработано приложение, поддерживающее многовариантные расчеты. Эксперимент выполнен в Grid, организованной на базе ресурсов ЦКП ИСКЦ [14], на основе типовых отраслевых норм времени на обслуживание пациентов5. На рис. 3, а и 3, b приведены показатели ускорения и эффективности, достигнутые при выполнении приложения.
Эти результаты демонстрируют высокую масштабируемость многовариантных расчетов, что обеспечивается применением мультиагентного подхода к управлению вычислениями с использованием экономических механизмов регулирования спроса и предложения ресурсов, эффективных алгоритмов декомпозиции потоков заданий и многокритериального выбора управляющих воздействий.
a b
Рис. 3. Ускорение вычислений (а) и эффективность использования ресурсов (b)
при выполнении приложения Fig. 3. Speedup of calculations (a) and resource efficiency (b) when executing the application
Заключение
В статье представлена программно-аппаратная платформа на базе виртуали-зированных вычислительных ресурсов ЦКП ИСКЦ для имитационного моделирования СМО. Ее высокоуровневый пользовательский интерфейс обеспечивает гибкий и удобный доступ специалистам из разных предметных областей (менеджеры, специалисты по информационным технологиям, администраторы информационно-управляющих систем и другие участники процесса принятия решений) к ее компонентам в процессе имитационного моделирования СМО.
Дальнейшее направление работы заключается во внедрении разработанной
программно-аппаратной платформы для исследования структурных и параметрических особенностей ЛПУ Иркутской области.
Исследования выполнены при поддержке РФФИ, проекты № 15-29-07955-офи_м и № 16-07-00931, а также Программы 1.33П фундаментальных исследований Президиума РАН, проект «Разработка новых подходов к созданию и изучению сложных моделей информационно-вычислительных и динамических систем с приложениями», и Совета по грантам Президента Российской Федерации, государственная поддержка ведущих научных школ Российской Федерации (НШ-8081.2016.9).
5
Приказ Министерства здравоохранения Российской Федерации от 2 июня 2015 г. № 290н [Электронный ресурс]. URL: https://www.rosminzdrav.ru/documents?page=20 (дата обращения 27.10.2017) / The Order of the Ministry of Health of the Russian Federation, of June 2 2015, no. 290н [Electronic resource] Available at: https://www.rosminzdrav.ru/documents?page=20 (27 October 2017).
Библиографический список
1. Юшковский С.Л. Критерии эффективности работы информационно-управляющих сетей // Проблемы современной науки и образования. 2016. № 38. С. 26-28.
2. Wachholder D., Oppl S. Stakeholder-driven collaborative modeling of subject-oriented business processes // S-BPM ONE-Scientific Research. 2012. P. 145-162.
3. Macal C.M. Everything You Need to Know About Agent-based Modeling and Simulation // Journal of Simulation. 2016. Vol. 10. No. 2. P. 144-156.
4. Нечаевский А.В. История развития компьютерного имитационного моделирования // Системный анализ в науке и образовании. 2013. № 2. С. 103-117.
5. Плотников А.М., Рыжиков Ю.И. Соколов Б.В. Юсупов Р.М. Анализ современного состояния и тенденции развития имитационного моделирования в Российской федерации (по материалам конференций «Имитационное моделирование. Теория и практика» (ИММОД)) // Труды СПИИРАН. 2013. Т. 2. № 25. С. 42-112.
6. Eldabi T., Balaban M., Brailsford S., Mustafee N., Nance R.E., Onggo B.S., Sargent R.G. Hybrid simulation: historical lessons, present challenges and futures // Proc. of the Winter Simulation Conference (WSC), 2016. IEEE, 2016. P. 1388-1403.
7. Боев В.Д. Моделирование систем. Инструментальные средства GPSS World. СПб.: БВХ-Петербург, 2004. 348 с.
8. Таха Хемди А. Введение в исследование операция / пер. с англ. М.: Издательский дом «Вильямс»,
2005. 912 с.
9. Grigoryev I.V. AnyLogic 7 in Three Dyas. Charleston: CreateSpace, 2015. 256 р.
10. Bellifemine F., Bergenti F., Caire G., Poggi A. Jade: A Java Agent Development Framework // Multiagent Systems, Artificial Societies, And Simulated Organizations: Multi-Agent Programming / Eds. R. Bordini, M. Dastani, J. Dix, A. El Fallax Seghrouchni. Springer,
2006. Vol. 15. P. 125-147.
11. Casanova H., Berman F., Obertelli G., Wolski R. The apples parameter sweep template: User-level middleware for the grid // Proceedings of the 2000 ACM/IEEE Conference on Supercomputing. Washington: IEEE Press, 2000. P. 111-126.
12. Шоломов Л.А. Логические методы исследования дискретных моделей выбора. М.: Наука, 1989. 288 с.
13. Feoktistov A., Sidorov I., Sergeev V., Kostromin R., Bogdanova V. Virtualization of Heterogeneous HPC-clusters Based on OpenStack Platform // Вестник Южно-Уральского государственного университета. Серия Вычислительная математика и информатика. 2017. Т. 6. № 2. С. 37-48.
14. Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. URL: http://hpc.icc.ru (дата обращения 27.10.2017).
References
1. Yushkovskii S.L. The criteria for the effectiveness of the information and control networks. Problemy sov-remennoi nauki i obrazovaniya [Problems of Modern Science and Education]. 2016, no. 38, pp. 26-28. (In Russian)
2. Wachholder D., Oppl S. Stakeholder-driven collaborative modeling of subject-oriented business processes. S-BPM ONE-Scientific Research. 2012, pp. 145-162.
3. Macal C.M. Everything You Need to Know About Agent-based Modeling and Simulation. Journal of Simulation. 2016, vol. 10, no. 2, pp. 144-156.
4. Nechaevskii A.V. The computer simulation development stages. Sistemnyi analiz v nauke i obrazovanii [System Analysis in Science and Education]. 2013, no. 2, pp. 103-117. (In Russian)
5. Plotnikov A.M., Ryzhikov Yu.I. Sokolov B.V. Yusupov R.M. The analysis of current status and development trends of simulation in the Russian Federation (on conference proceedings "Simulation. Theory and practice" (IMMOD)). Trudy SPIIRAN. [SPIIRAS Proceedings]. 2013, vol. 2, no. 25, pp. 42-112.
6. Eldabi T., Balaban M., Brailsford S., Mustafee N., Nance R.E., Onggo B.S., Sargent R.G. Hybrid simulation: historical lessons, present challenges and futures.
Proc. of the Winter Simulation Conference (WSC), 2016. IEEE, 2016, pp. 1388-1403.
7. Boev V.D. Modelirovanie sistem. Instrumental'nye sredstva GPSS World [Systems Simulation. GPSS World Tools]. Sankt-Peterburg: BVKh-Peterburg Publ., 2004, 348 p. (In Russian)
8. Russ. ed.: Takha Khemdi A. Vvedenie v issledo-vanie operatsiya [Operation research: An introduction]. Moscow: Izdatel'skii dom «Wyams» Publ., 2005, 912 p.
9. Grigoryev I.V. AnyLogic 7 in Three Days. Charleston: CreateSpace, 2015, 256 p.
10. Bellifemine F., Bergenti F., Caire G., Poggi A. Jade: A Java Agent Development Framework. Multiagent Systems, Artificial Societies, and Simulated Organizations: Multi-Agent Programming / Eds. R. Bordini, M. Dastani, J. Dix, A. El Fallax Seghrouchni. Springer, 2006, vol. 15, pp. 125-147.
11. Casanova H., Berman F., Obertelli G., Wolski R. The apples parameter sweep template: User-level middleware for the grid. Proceedings of the 2000 ACM/IEEE Conference on Supercompu-ting. Washington: IEEE Press, 2000, pp. 111-126.
12. Sholomov L.A. Logicheskie metody issledovaniya diskretnykh modelei vybora [Logical methods to study
discrete selection models]. Moscow: Nauka Publ., 1989, 288 p. (In Russian)
13. Feoktistov A., Sidorov I., Sergeev V., Kostromin R., Bogdanova V. Virtualization of Heterogeneous HPC-clusters Based on OpenStack Platform. Vestnik Yu-zhno-Ural'skogo gosudarstven-nogo universiteta. Seriya Vychislitel'naya matematika i informatik [Bulletin of the
South Ural State University. Series: Computational Mathematics and Computer Science]. 2017, vol. 6, no. 2, pp. 37-48.
14. Irkutskii superkomp'yuternyi tsentr SO RAN [Irkutsk supercomputer center of SB RAS]. Available at: http://hpc.icc.ru (27 October 2017).
Критерии авторства
Феоктистов А.Г., Башарина О.Ю., Дядькин Ю.А., Фереферов Е.С. имеют равные авторские права и несут равную ответственность за плагиат.
Authorship criteria
Feoktistov A.G., Basharina O.Yu. Dyadkin Yu.A., Fereferov E.S. have equal author's rights and bear equal responsibility for plagiarism.
Конфликт интересов
Авторы заявляют об отсутствии интересов.
Conflict of interests
конфликта The authors declare that there is no conflict of interests
regarding the publication of this article.
Статья поступила 03.11.2017 г.
The article was received 3 November 2017
