CC BY
46
УДК 004.56
doi:10.15217/issnl684-8853.2017.2.19
ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА МОНИТОРИНГА
ДЛЯ РЕШЕНИЯ КРУПНОМАСШТАБНЫХ НАУЧНЫХ ЗАДАЧ
В ОБЛАЧНЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ
А. В. Скаткова, доктор техн. наук А. А. Брюховецкийа, канд. техн. наук, доцент Д. В. Моисеева, канд. техн. наук, доцент Т. А. Абрамова, старший преподаватель
3Севастопольский государственный университет, Севастополь, РФ
Цель исследования: разработка интеллектуальной системы мониторинга для решения крупномасштабных научных задач в облачных вычислительных средах в условиях дефицита априорной информации о состоянии среды. Результаты: проведен многоуровневый анализ данных об изменении значений метрик ИТ-сервисов. Разработан комплекс моделей классификации информационных ситуаций, позволяющих облачным брокерам поддерживать процесс принятия решений по выбору оптимальной стратегии решения задач мониторинга. Для создания интеллектуальной системы мониторинга были использованы адаптивные методы, оценивающие достоверность и изменчивость информационных ситуаций, возникающих при анализе облачных сред. Рассмотренные стратегии мониторинга учитывают нестационарность облачной среды и, таким образом, могут быть применены при проактивном анализе ее состояний. Использование малых объемов выборок при проведении оценки ИТ-сервисов облачной среды позволяет понизить трудоемкость проведения мониторинга. Практическая значимость: полученные результаты могут быть применены для мониторинга облачных вычислительных сред при решении крупномасштабных научных задач в рамках расширенной эталонной архитектуры Ы1ЭТ, ориентированной на взаимодействие триады облачных акторов «клиент — брокер — провайдер».
Ключевые слова — интеллектуальная система, система мониторинга, ИТ-сервисы, метрики ресурсов, адаптивная модель, информационное состояние объекта, критерии оценки, неоднородность наблюдений.
Введение
Увеличивающиеся масштабы и сложность облачных вычислительных сред (ОВС) предъявляют все более жесткие требования к системам мониторинга (СМ), ставшим неотъемлемой частью ОВС. При этом цели мониторинга могут быть разными. С одной стороны — это отслеживание сбоев, предкритических ситуаций, которые могут привести к неправильной работе программ или к выходу из строя компонентов вычислительной системы. С другой стороны, усложнение архитектуры ОВС приводит к необходимости постоянного контроля эффективности использования дорогостоящих ресурсов. Обе эти задачи в большинстве случаев требуют отслеживания десятков параметров с каждого вычислительного узла с периодом порядка единиц секунд, а в перспективе и долей секунды [1, 2]. Такие потоки информации с сотен, тысяч узлов современных систем и с сотен тысяч для перспективных систем требуют новых подходов к СМ.
Целью работы является разработка методов построения модели интеллектуальной СМ для решения крупномасштабных научных задач в ОВС в условиях дефицита априорной информации о состоянии среды на основе многоуровневой обработки и анализа данных об изменении значений метрик физических ресурсов и ИТ-сервисов и их статистическая оценка с использованием задан-
ных критериев. Особое внимание уделяется разработке комплекса моделей классификации информационных ситуаций, возникающих при выполнении задач мониторинга многомерных объектов. Это позволит брокерам облачных сервисов обеспечивать поддержку принятия решений по выбору одной из альтернативных стратегий при решении функциональных задач мониторинга. Таким образом, при возникновении коллизионных ситуаций в вычислительной среде будет предоставлена возможность поддержки требуемого уровня качества ИТ-сервисов, что в свою очередь повысит эффективность взаимодействия триады агентов облачного сервиса «клиент — брокер — провайдер» [3].
Отметим следующие особенности крупномасштабных научных задач в ОВС: иерархичность графового представления задач, вложенные графовые структуры; существенная неоднородность вычислительного графа решения задачи, большая вариация мощности сечений графа; компо-зитность приложений, что требует разнообразия физических ресурсов и ИТ-сервисов; различие в трудоемкости решения задачи по числу операций; необходимость согласования директивных сроков выполнения задач; параметрическая и структурная неустойчивость.
При решении поставленной задачи возникают проблемы обработки больших данных: высокая вычислительная сложность, обусловленная
обработкой огромных объемов данных; высокая динамика мониторируемых объектов; дефицит априорной информации о мониторируемых объектах; нестационарность информационной ситуации состояния объектов и среды; обеспечение высокой скорости обработки запросов; предоставление метрик информационных ресурсов и сервисов в реальном времени.
Для разрешения указанных проблем предлагается использовать комплексный подход к построению СМ, которому будут присущи отличительные функциональные и структурные особенности. Разрабатываемая СМ будет обладать очевидными преимуществами по сравнению с подходами, реализованными в известных СМ. Основные отличия предлагаемых решений по построению интеллектуальной СМ состоят в использовании малых объемов выборок при проведении измерений метрик объектов мониторинга; методов, обладающих низкой трудоемкостью и высоким быстродействием; критериев для оценки информационных ситуаций изменения состояния объектов; адаптивных подходов, позволяющих отслеживать изменчивость информационных ситуаций объектов ОВС; метода актуализации баз данных, содержащих информацию о мониторируемых объектах ОВС; стратегий мониторинга, осуществляющих проактивный анализ состояния объектов ОВС и учитывающих нестационарность среды и объектов.
Разработка интеллектуальных СМ, решающих поставленные задачи, является актуальной, имеющей научную новизну и практический интерес.
Обзор известных систем мониторинга
Современные СМ предназначены для контроля и анализа состояния физических ресурсов и качества предоставления ИТ-сервисов. На сегодняшний день в системный мониторинг входят задачи управления и оперативного прогнозирования изменений сложных систем [4, 5]. Для выявления корреляций внутри таких систем необходимо осуществлять непрерывный мониторинг их объективных параметров. В работах [6-8] описываются решения задач по оптимизации распределения ресурсов ОВС и принципам функционирования программного обеспечения в распределенных средах.
Одной из крупномасштабных критических задач для экономики Российской Федерации является информационное обеспечение процессов поиска и разведки месторождений углеводородов, мониторинга экологического состояния акваторий, в которых расположены объекты инфраструктуры нефтегазового комплекса, в целях обеспечения их безотказного и безопасного
функционирования. Практическое осуществление данной задачи происходит с использованием аэрокосмических средств мониторинга, обладающих высоким пространственным разрешением. Для эффективного функционирования таких систем необходимо решение научных и прикладных задач оперативного анализа данных мониторинга систем, установленных в местах месторождений нефти и газа, а также внедрение технологий анализа критических ситуаций, возникающих при эксплуатации каналов передачи энергоресурсов [9].
Важным аспектом проведения мониторинга акватории моря, в частности Азово-Черноморского региона, является разработка комплекса новых методов и технических средств, позволяющих производить сведение данных из различных источников, таких как спутниковое дистанционное зондирование [10-12], мониторинг акватории, выполняемый береговыми станциями, и измерения, производимые экспедиционными судами. Объем собираемых данных в настоящее время составляет до 1 ТБ/сут [13].
В ряде стран существует тенденция к свободному распространению информации, в том числе и научных измерений гидрологических и гидрохимических показателей акватории, полученных со спутников и береговых станций. В частности, такими организациями, как ЮНЦ РАН и МО УкрНИГМИ, предоставляются мониторинговые данные морей Восточной Арктики, Азово-Черноморского региона и Каспийского моря [14]. Учитывая объем предоставляемых данных и динамику их обновления, становятся очевидными преимущества использования облачных вычислений для их анализа в реальном времени.
В своей работе [15] А. Н. Ширяев представляет вероятностно-статистические методы теории принятия решений, объясняющие, «как по наблюдениям за реализацией случайного процесса обнаружить спонтанно возникающие эффекты, когда свойства процесса изменяются скачкообразно». В ОВС большая часть проблем анализа данных связана с исследованиями стохастических динамических систем, в которых обнаружение существенных, но редких информационных ситуаций часто имеет решающее значение.
В то же время на практике нет СМ, которые бы успешно разрешали проблемы, касающиеся обработки больших данных, адаптации стратегий мониторинга к текущему информационному состоянию объектов, использования статистических критериев для оценки информационных ситуаций изменения состояния объектов и др. Проведенный анализ показывает, что предлагаемые на мировом рынке СМ имеют в основном типовые функции, которые, как правило, ограничиваются сбором статистических данных об
измеряемых метриках ресурсов и ИТ-сервисов. Основной недостаток известных СМ состоит в том, что в них отсутствуют характеристики уровня правдоподобия при оценке и прогнозировании информационных состояний объектов ОВС и не учитывается стохастическая природа состояний объектов и нестационарность процессов.
Методы построения и функции интеллектуальной системы мониторинга в расширенной эталонной архитектуре NIST
Решение функциональной задачи оценки изменения состояния объектов основано на модели ОВС, адаптированной для крупномасштабных научных вычислений в рамках концепции «сервис-ориентированной науки». Предлагается использовать расширенную эталонную архитектуру NIST (National Institute of Standards and Technology) [1, 4]. В предлагаемой авторами архитектуре [3] выделено семь взаимодействующих субъектов (акторов), выполняющих определенные функциональные задачи.
Мониторинговые функции объектов ОВС и их оценка в соответствии с эталонными значениями метрик качества ИТ-сервисов выполняются Аудитором. Облачный Аудитор в классической модели — сущность, производящая независимую оценку облачных услуг, обслуживания информационных систем, производительности и безопасности реализации облака. С учетом ряда формальных правил эта сущность выполняет функции внешнего аудита Потребителей, Провайдеров и Брокеров.
Система мониторинга для решения крупномасштабных научных задач в ОВС является сложной системой, а значит, для проектирования и разработки таких СМ объектов (ресурсов, приложений, сервисов) необходимо использовать принципы системного подхода, позволяющие сформулировать последовательность функциональных задач, которым должна удовлетворять разрабатываемая система.
1. Для реализации подхода требуется разработать СМ, содержащую функциональные подсистемы: обработки значений метрик объектов ОВС; классификации информационных ситуаций об изменении состояний объектов; определения стратегий контроля в зависимости от частоты/глубины контроля, объемов контролируемых выборок; выбора оптимальной альтернативной стратегии мониторинга объектов ОВС с использованием заданных критериев; определения моментов времени актуализации информации в базе данных, содержащей сведения о значениях метрик мониторируемых объектов, стратегии мониторинга каждого объекта и др.
2. Предлагается использовать подход к обнаружению изменений информационных состояний объектов, который базируется на методах математической статистики и теории вероятностей, оценки энтропии, непараметрической статистики, теории оптимальных решений, интеллектуального анализа данных.
3. Функционирование системы должно поддерживаться экспертом на основе многократных результатов измерений, получаемых при оценке контролируемых значений метрик нестационарного состояния объектов за различные временные интервалы.
4. В целях адаптации параметров выбора стратегий мониторинга к текущему состоянию объекта настройка параметров СМ должна быть не одноразовой, а постоянной в процессе функционирования, поскольку контролируемая среда является нестационарной, и со временем информативность настраиваемых параметров уменьшается.
5. Необходимо использовать средства имитационного моделирования, которые повышают быстродействие, реактивность системы, адекватность принятия решений при настройке параметров системы, сокращают объем хранимых данных и восполняют дефицит контролируемой информации.
Система мониторинга для исследования изменений состояния объектов содержит статистические критерии. Системообразующим фактором является процесс вычисления статистических критериев, что определяет структуру подсистем и связи между ее модулями. При дальнейшей эксплуатации системы следует адаптировать ее параметры к изменяющимся условиям и руководствоваться накопленным к этому моменту опытом ее эксплуатации.
Для достижения перечисленных выше целей необходимо определить функции системы. К числу основных функций относятся: определение информационного состояния объектов мониторинга (ОМ) сети; определение стратегии контроля (SK) состояния объекта (постоянная, периодическая, случайное квантование); классификация информационных состояний объектов на основе оценки информационной меры Кульбака и оценки дисперсии D остатков по критерию Спирмена; определение стратегии мониторинга (СТМ) состояния объектов в зависимости от таких параметров мониторинга, как частота, глубина, объем выборки, достоверность принятия решения; формирование и актуализация базы данных, содержащей информацию об ОМ, стратегии мониторинга, векторе P — вероятностей выбора стратегии мониторинга, векторе метрик ИТ-сервисов — SLA.
На основе описанного подхода предлагается адаптивная СМ, этапы функционирования которой представлены на рисунке. СМ может функ-
Запрос
от актора
Формирование запроса ui
Измерения OM, SLA
Определение стратегии контроля SK
Постоянная Периодическая Случайное квантование
1 г
Классификация SO
Стационарный Почти стационарный Кусочно-стационарный
Оптимизация и адаптация СТМ
I
Выбор альтернативной СТМ'
и актуализация базы данных
Вывод
OM = {}
\ SLA = {}
Этапы функционирования СМ для решения крупномасштабных научных задач в облачных вычислительных средах
ционировать в одном из трех функциональных режимов: рабочем (стационарном), обучения и оптимизации. Адаптивные свойства системы реализуются посредством использования двух последних режимов. В рабочем режиме адаптивной СМ происходит также самотестирование системы. По его результатам принимается решение, если необходимо, о смене стратегии мониторинга. Пусть стратегия мониторинга у-го объекта ОВС 1-м средством описывается кортежем
СТМ;у = (вк, во, ЭЬА, Р).
В свою очередь каждый из параметров ЯК, ЯО может быть представлен как
ЯК = (/, М, т); БО = (Кг, п, р, г, г),
где f — частота мониторинга состояния объекта; Дí — ширина временного окна (глубина мониторинга), длительность; т — период повторения измерения метрик; п — объем контролируемой вы-
борки при использовании критерия Kr; p — уровень достоверности при использовании критерия Kr; z — затраты на распознавание изменения состояния объекта при использовании критерия Kr; r — коэффициент использования ресурсов (времени, памяти и т. п.).
Функционирование системы состоит в следующем. На основании поступления запросов от акторов ОВС на этапе формирования запроса производится выбор значения uij из бинарной матрицы U, задающей подключение объектов ОВС к определенным средствам мониторинга (j — номер объекта ОВС, i — тип используемого средства мониторинга).
На этапе измерения значений метрик физических ресурсов и показателей качества ИТ-сервисов производится формирование векторов OM и SLA. Сформированные векторы OM и SLA подвергаются обработке, скаляризации и записываются в соответствующие поля базы данных.
На этапе определения стратегии контроля SK принимается одна из альтернативных стратегий:
постоянная, периодическая, случайное квантование. При оценке отдельной метрики необходимо измерять отношение ее среднего значения к размаху. В случае, если оно оказывается небольшим, наблюдается эффект зашумления. Чем больше отношение полученного среднего значения к размаху, тем больший объем мониторинга требуется для обеспечения необходимого уровня достоверности.
На этапе классификации состояния объекта SO проводится оценка значений метрик вектора OM с использованием заданного критерия Кг и уровня достоверности р. Информационное состояние SO может классифицироваться как стационарное, почти стационарное, кусочно-стационарное на основе оценки информационной меры Кульбака и оценки дисперсии Б остатков по критерию Спирмена. Если информационное состояние SO — стационарное, текущая стратегия мониторинга признается оптимальной. В противном случае текущая стратегия мониторинга CTM подвергается оптимизации. На этапе оптимизации новая стратегия мониторинга СТМ' содержит откорректированную стратегию контроля состояния вК' за счет выбора оптимальных значений параметров при возможном участии лица, принимающего решение.
В случае изменения текущей стратегии мониторинга СТМ' производится актуализация соответствующих полей базы данных: OM, SLA, CTM, P. Выходными значениями системы мониторинга являются значения метрик векторов OM и вЬА', которые передаются актору, от которого поступил запрос.
Заключение
Проведенный анализ известных СМ для решения крупномасштабных научных задач в облачных вычислительных средах показывает, что при решении поставленной задачи возникают проблемы обработки больших данных, к числу которых относятся высокая вычислительная сложность, обусловленная обработкой огромных объемов данных; высокая динамика и нестационарность информационной ситуации состояния физических ресурсов и ИТ-сервисов; дефицит априорной информации о состоянии среды и объектов; обеспечение высокой
1. Mell P., Grance T. The NIST Definition of Cloud Computing: Recommendations of the National Institute of Standards and Technology, 2010. http://nvlpubs. nist.gov/nistpubs/Legacy/SP/nistspecialpublica-tion800-145.pdf (дата обращения: 15.10.2016).
скорости обработки запросов в реальном времени и др. Для разрешения указанных проблем предлагается адаптивный подход, который обладает очевидными преимуществами по сравнению с известными. Основные отличия предлагаемых решений по построению интеллектуальной СМ состоят в использовании малых объемов выборок при проведении измерений метрик объектов мониторинга; методов, обладающих низкой трудоемкостью и высоким быстродействием; адаптивных методов, позволяющих оценить достоверность и изменчивость информационных ситуаций объектов ОВС; стратегий мониторинга, осуществляющих проактивный анализ состояния объектов ОВС и учитывающих нестационарность среды.
Предлагаемый подход к построению интеллектуальной СМ для решения крупномасштабных научных задач в ОВС в рамках расширенной эталонной архитектуры ШЯТ, ориентированной на взаимодействие триады агентов облачного сервиса «клиент — брокер — провайдер», может быть эффективно использован для решения задач оперативного мониторинга изменений в процессах, протекающих, например, в природных комплексах; обеспечения пользователей широкого профиля интегральной информацией о системе, что позволяет строить долгосрочные прогнозы глобальных климатических изменений, полученных, например, с помощью спутникового дистанционного зондирования и телеметрии геоинформационными системами.
Применение предложенного подхода построения интеллектуальных СМ позволит совершить переход к качественно новым знаниям, оптимизировать процессы обработки, анализа, интеграции гетерогенных данных, происходящие в крупномасштабных научных исследованиях, повысить достоверность и оперативность принимаемых решений по адаптивному управлению стратегиями мониторинга.
В развитие проведенных исследований планируется разработка программных моделей по оценке качественного изменения состояния сетевого трафика, в который привносится измененный поток интенсивности обработки заявок.
Работа выполнена при частичной поддержке Российского фонда фундаментальных исследований (грант № 15-29-07936).
2. Никитенко Д. А., Стефанов К. С. Исследование эффективности параллельных программ по данным мониторинга // Вычислительные методы и программирование. 2012. Т. 13. № 2. С. 97-102.
3. Скатков А. В., Шевченко В. И. Расширение референтной модели облачной вычислительной среды в концепции крупномасштабных научных исследо-
ваний // Тр. Института системного программирования РАН. 2015. Т. 27. № 6. С. 285-306.
4. Ceilometer Developer Documentation. https://ceilome-ter.readthedocs.org/en/latest/measurements.html (дата обращения: 15.10.2016).
5. Homepage of Zabbix. The Enterprise-class Monitoring Solution for Everyone. http://www.zabbix.com/ru/ (дата обращения: 15.10.2016).
6. Грушин Д. А., Кузюрин Н. Н. Балансировка нагрузки в системе Unihub на основе предсказания поведения пользователей // Тр. Института системного программирования РАН. 2015. Т. 27. № 5. С.23-34.
7. Циперман Г. Н. Стохастическая модель процесса идентификации сервисов информационной системы // Тр. Института системного программирования РАН. 2015. Т. 26. № 5. С. 7-28.
8. Suznjevic M., Skorin-Kapov L., and Humar I. User Behavior Detection Based on Statistical Traffic Analysis for thin Client Services // Computer Science and Information Systems. 2015. Vol. 12. N 2. P. 587-605. doi: 10.2298/CSIS140810018S
9. Бондур В. Г. Аэрокосмический мониторинг объектов нефтегазового комплекса. — М.: Научный мир, 2012. — 558 с.
10. Ратнер Ю. Б., Толстошеев А. П., Холод А. Л. Создание базы данных мониторинга Черного моря с использованием дрейфующих поверхностных буев // Морской гидрофизический журнал. 2009. № 3. С. 50-69.
11. Лаврова О. Ю., Костяной А. Г., Лебедев С. А. Комплексный спутниковый мониторинг морей России. — М.: ИКИ РАН, 2011. — 480 с.
12. Коротаев Г. К., Демышев С. Г., Ли М. Е. Спутниковый мониторинг морских акваторий. — Киев: Ака-демпериодика, 2014. — С. 91-100.
13. Балашов И. В., Халикова О. А. Организация автоматического получения наборов информационных продуктов из центров архивации и распространения спутниковых и метеоданных // Современные проблемы дистанционного зондирования Земли из космоса. 2013. Т. 10. № 3. С. 9-20.
14. Матишов Г. Г., Бердников С. В., Жичкин А. П. Атлас климатических изменений в больших морских экосистемах Северного полушария (1878-2013). — Ростов н/Д: ЮНЦ РАН, 2014. — 256 с.
15. Ширяев А. Н. Вероятностно-статистические методы в теории принятия решений. — М.: МЦНМО, 2014. — 144 с.
UDC 004.56
doi:10.15217/issn1684-8853.2017.2.19
Intelligent Monitoring System for Solving Large-Scale Scientific Problems in Cloud Computing Environments
Skatkov A. V.a, Dr. Sc., Tech., Professor, AVSkatkov@sevsu.ru, Brjuhoveckij A. A.a, PhD, Tech., Associate Professor, bryukhovetskiy@sevsu.ru, Moiseev D. V.a, PhD, Tech., Associate Professor, DVMoiseev@sevsu.ru Abramov T. A.a, Senior Lecturer, TAAbramov@sevsu.ru
aSevastopol State University, 33, Universitetskaya St., 299053, Sevastopol, Russian Federation
Purpose: The goal is to develop an intelligent monitoring system for solving large-scale scientific problems in cloud computing environments under the deficiency of a priori information about the state of the environment. Results: We have performed a multi-level analysis of the data about the changes in the values of IT-service metrics, and developed a complex of models for classifying information situations. This will allow cloud brokers to support decision-making when choosing the optimal strategy for solving the problems of monitoring. To create an intelligent monitoring system, adaptive approaches were used, assessing the accuracy and variability of the information situations which arise during the cloud environment analysis. The considered monitoring strategies take into account the non-stationary nature of a cloud environment. Therefore, they can be used for proactive analysis of its states. Using small volumes of samples in cloud IT-service evaluation allows you to reduce the complexity of the monitoring. Practical relevance: The obtained results can be used for the monitoring of cloud computing environments when solving large-scale scientific problems in the framework of expanded reference NIST architecture focused on the interaction between the triad of cloud actors: consumer - broker - provider.
Keywords — Smart System, Monitoring System, IT Services, Resource Metrics, Adaptive Model, Object Information State, Evaluation Criteria, Observation Heterogeneity.
References
1. Mell P., Grance T. The NIST Definition of Cloud Computing. Recommendations of the National Institute of Standards and Technology, 2010. Available at: http://nvlpubs.nist. gov/nistpubs/Legacy/SP/nistspecialpublication800-145. pdf (accessed 15 October 2016).
2. Nikitenko D. A., Stefanov K. S. The Study of the Effectiveness of Parallel Programs Based on Monitoring Data. Vychis-litel'nye metody i programmirovanie, 2012, vol. 13, no. 2, pp. 97-102 (In Russian).
3. Skatkov A. V., Shevchenko V. I. Expansion of the Reference Model of the Cloud Computing Environment in the Concept of Large-Scale Scientific Research. Trudy Instituta sistem-
nogoprogrammirovaniia RAN, 2015, vol. 27, no. 6, pp. 285306 (In Russian).
4. Ceilometer Developer Documentation. Available at: https:// ceilometer.readthedocs.org/en/latest/measurements.html (accessed 15 October 2016).
5. Homepage of Zabbix. The Enterprise-class Monitoring Solution for Everyone. Available at: http://www.zabbix.com/ru/ (accessed 15 October 2016).
6. Grushin D. A., Kuziurin N. N. Load Balancing in the Unihub System Based on Prediction of user Behavior. Trudy Institu-ta sistemnogo programmirovaniia RAN, 2015, vol. 27, no. 5, pp. 23-34 (In Russian).
7. Tsiperman G. N. Stochastic Model of the Process of Identification of Information System Services. Trudy Instituta sis-temnogo programmirovaniia RAN, 2014, vol. 26, no. 5, pp. 7-28 (In Russian).
8. Suznjevic M., Skorin-Kapov L., and Humar I. User Behavior Detection Based on Statistical Traffic Analysis for thin Client Services. Computer Science and Information Systems, 2015, vol. 12, no. 2, pp. 587-605. doi: 10.2298/CSIS140810018S
9. Bondur V. G. Krugi bez granic. Aerokosmicheskii monitoring ob"ektov neftegazovogo kompleksa [Aerospace Monitoring of Oil and Gas Facilities]. Moscow, Nauchnyi Mir Publ., 2012. 558 p. (In Russian).
10. Ratner I. B., Tolstosheev A. P., Kholod A. L. Establishment of a Black Sea Monitoring Database using Drifting Surface Buoys. Morskoi gidrofizicheskii zhurnal, 2009, no. 3, pp. 50-69 (In Russian).
11. Lavrova I. B., Kostianoi A. G., Lebedev S. A. Kompleksnyi sputnikovyi monitoring morei Rossii [Integrated Satellite Monitoring of the Seas of Russia]. Moscow, IKI RAN Publ., 2011. 480 p. (In Russian).
12. Korotaev G. K., Demyshev S. G., Li M. E. Sputnikovyi monitoring morskikh akvatorii [Satellite Monitoring of Marine Areas]. Kiev, Akademperiodika Publ., 2014, pp. 91-100 (In Russian).
13. Balashov I. V., Khalikova O. A. The Organization of Automatic Receipt of Sets of Information Products from the Centers of Archiving and Distribution of Satellite and Meteorological Data. Sovremennye problemy distantsionnogo zondirovaniia Zemli iz kosmosa, 2013, vol. 10, no. 3, pp. 9-20 (In Russian).
14. Matishov G. G., Berdnikov S. V., Zhichkin A. P. Atlas kli-maticheskikh izmenenii v bol'shikh morskikh ekosiste-makh Severnogo polushariia (1878-2013) [Atlas of Climatic Changes in Large Marine Ecosystems of the Northern Hemisphere (1878-2013)]. Rostov-na-Donu, IuNTs RAN Publ., 2014. 256 p. (In Russian).
15. Shiriaev A. N. Veroiatnostno-statisticheskie metody v teorii priniatiia reshenii [Probabilistic-Statistical Methods in Decision Theory]. Rostov-na-Donu, MTsNMO Publ., 2014. 144 p. (In Russian).
УВАЖАЕМЫЕ АВТОРЫ!
Научная электронная библиотека (НЭБ) продолжает работу по реализации проекта SCIENCE INDEX. После того как Вы зарегистрируетесь на сайте НЭБ (http://elibrary.ru/ defaultx.asp), будет создана Ваша личная страничка, содержание которой составят не только Ваши персональные данные, но и перечень всех Ваших печатных трудов, имеющихся в базе данных НЭБ, включая диссертации, патенты и тезисы к конференциям, а также сравнительные индексы цитирования: РИНЦ (Российский индекс научного цитирования), h (индекс Хирша) от Web of Science и h от Scopus. После создания базового варианта Вашей персональной страницы Вы получите код доступа, который позволит Вам редактировать информацию, помогая создавать максимально объективную картину Вашей научной активности и цитирования Ваших трудов.
