CC BY
42
УДК 004.9
А. Г. Титов, Е. П. Гордов, И. Г. Окладников
Институт мониторинга климатических и экологических систем СО РАН пр. Академический, 10/3, Томск, 634055, Россия
Томский филиал Института вычислительной техники СО РАН пр. Ленина, 36, Томск, 634050, Россия
E-mail: [email protected]
ПРОГРАММНО-АППАРАТНАЯ ПЛАТФОРМА «КЛИМАТ»
КАК ОСНОВА ГЕОПОРТАЛА ЛОКАЛЬНОЙ ИНФРАСТРУКТУРЫ ПРОСТРАНСТВЕННЫХ ДАННЫХ *
Представлен разработанный в рамках концепции локальной инфраструктуры пространственных данных экспериментальный образец программно-аппаратной платформы «Климат», предназначенный для мониторинга и прогноза региональных климатических и экологических изменений и поддержки непрерывного образования, реализующий современные концепции Веб 2.0, элементы ГИС-технологий и возможности интернет-доступа к прикладным моделям, наборам геофизических данных и средствам визуализации результатов исследований.
Ключевые слова: пространственные данные, информационные системы, веб-технологии, ГИС, изменения климата.
Введение
Для информационной поддержки интегрированных научных исследований в области наук о Земле, в частности для комплексного использования больших и изначально разнородных наборов пространственно-привязанных данных, полученных из разных источников, важной задачей является создание основанной на современных информационно-телекоммуникационных технологиях программной инфраструктуры [1]. В 2006 г. Правительством Российской Федерации была принята «Концепция создания и развития инфраструктуры пространственных данных в Российской Федерации» (№ 1157-р от 21.08.2006), которая определяет основные цели, задачи и этапы формирования ИПД как инструмента повышения качества и эффективности работ, связанных с созданием и использованием пространственных данных, государственных информационных ресурсов, и т. д. Очевидно, что элементы требуемой программной инфраструктуры должны удовлетворять общим требованиям архитектуры ИПД [2; 3], и комплексным решением поставленной задачи является создание локальной инфраструктуры пространственных данных как части академической ИПД [4] и тематического геопортала как единой точки доступа к метеорологическим и климатическим данным.
Таким образом, под инфраструктурой пространственных данных понимается система базовых пространственных данных, метаданных, стандартов и регламентов, информационных узлов, геосервисов для доступа и обмена географическими информационными ресурсами [5]. При этом геопортал является ключевым элементом любой ИПД, предоставляющим возмож-
* Работа частично поддержана Министерством образования и науки РФ (ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы», госконтракт № 07.514.11.4044, ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг., госконтракт № 8345), проектами СО РАН № IV.31.L5, ГУ.31.2.7, проектами РФФИ (№ 10-07-00547а, 11-05-01190а) и интеграционными проектами СО РАН № 69, 131, 140.
ІББМ 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2012. Том 10, выпуск 4 © А. Г. Титов, Е. П. Гордов, И. Г. Окладников, 2012
ность поиска геоинформационных ресурсов (наборов и источников данных) по каталогам метаданных, формирования выборок пространственных данных по их характеристикам (функциональность доступа), а также управления сервисами и приложениями картографической визуализации (веб-картографирования) [6]. Следует отметить, что в силу ряда объективных причин (большой объем наборов данных; сложность используемых моделей данных; различия наборов данных в синтаксисе и семантике, затрудняющие создание и использование общей терминологии) разработка сервисов доступа и обработки данных в области наук о Земле (геопроцессинга) не является тривиальной задачей [7].
Эти обстоятельства были учтены при разработке экспериментального образца программно-аппаратной платформы «Климат» [8] как технологической основы геопортала локальной ИПД для климато-экологического мониторинга и прогноза.
В настоящее время признано, что разработка приложений и сервисов для анализа распределенных пространственно-привязанных геофизических данных должна основываться на использовании веб-ГИС-технологий [9-13]. Применение этого подхода при создании доступных через Интернет тематических информационно-вычислительных систем является перспективным способом повышения эффективности мультидисциплинарных региональных и глобальных исследований в области наук о Земле [14], включая анализ климатических изменений и их влияние на пространственно-временное поведение растительных экосистем.
Следует отметить, что на сегодняшний день существует ряд информационных систем, посвященных обработке пространственно-привязанных геофизических данных, например: GIOVANNI (http://daac.gsfc.nasa.gov/techlab/giovanni), RIMS [16] и др. При этом очевидно, что ни одна из существующих систем не может в принципе решать весь спектр задач, возникающих в области климато-экологического мониторинга. Поэтому особую важность приобретает создание специализированного программного обеспечения для быстрой разработки тематических веб-ГИС-приложений, предоставляющих исследователям возможности анализа разнородных геофизических данных, в том числе данных высокого пространственного разрешения. Такое программное обеспечение (инструментарий) в составе модульного вычислительного ядра и набора управляющих PHP-контроллеров на стороне сервера, продукта Geoserver, реализующего базовые картографические веб-сервисы, а также JavaScript-библиотеки для создания типовых элементов графического интерфейса веб-ГИС-прило-жений на базе технологии AJAX, было разработано [17; 18] и использовано при создании программно-аппаратной платформы «Климат».
Экспериментальный образец программно-аппаратной платформы «Климат»
При более детальном рассмотрении архитектуры ЭО Платформы (рис. 1) в ней можно выделить следующие основные компоненты.
1. Наборы пространственно-привязанных геофизических данных, представленные данными численного моделирования и натурных наблюдений и размещенные на нескольких удаленных серверах по тематическому признаку.
Рис. 1. Обобщенная структура ЭО Платформы «Климат»
2. Модульное вычислительное ядро на стороне сервера, управляющее набором прикладных вычислительных модулей.
3. Веб-портал на стороне сервера, реализующий логику веб-приложений, связь с картографическими веб-сервисами, модулями вычислительного ядра, хранилищем данных и климатическими моделями.
4. Графический интерфейс пользователя на стороне веб-клиента, обеспечивающий ГИС-функциональность.
5. Интегрированные в платформу климатические модели «WRF» и «Planet Simulator».
6. Интегрированная в платформу информационная среда взаимодействия распределенных групп специалистов (форумы, wiki, блоги, ПО для совместной разработки приложений).
В настоящее время на аппаратной составляющей программно-аппаратной платформы развернуты и доступны для использования архивы пространственно-привязанных данных, включая: реанализы NCEP/NCAR [19; 20], реанализ JRA-25 [21], реанализы ERA-40 [22] и ERA Interim [23], глобальный реанализ ХХ столетия NOAA [24] и ряд других наборов, полученных в ходе климатического моделирования. Кроме того, в ЭО Платформы размещены данные, полученные с помощью модели Planet Simulator [25], региональной модели WRF 1, архивы спутниковых данных Landsat 4-7, Global Land Survey (GLS) и MODIS (http://glovis.tsc.ru/), а также данных наблюдений с метеостанций, расположенных на территории Российской Федерации. Каждый из представленных архивов в организациях-источниках прошел ряд процедур проверки качества данных, подтверждающих их достоверность и адекватность полученной метеорологической информации.
Вычислительное ядро, реализованное на языках программирования GNU Data Language (GDL) и Python 2.7, является частью разработанного ранее программного инструментария и обеспечивает чтение и обработку XML-файла задания, сформированного пользователем при помощи графического интерфейса, а также конвейерное выполнение на его основе последовательности вызовов внешних программных модулей. В процессе выполнения конвейера промежуточные результаты работы с выхода одного модуля передаются на вход другого согласно заданной последовательности. Модульное ядро получает основную функциональность по обработке и визуализации данных за счет использования подключаемых внешних программных модулей, для которых оно предоставляет программный интерфейс доступа к наборам геофизических данных, а также базовые классы для обработки данных, визуализации (в форматах GeoTIFF, MJPEG, ESRI Shapefile, EPS) и вывода результатов (NetCDF). Для интеграции архива геофизических данных в экспериментальный образец платформы наборы данных были упорядочены и размещены на высокопроизводительной дисковой системе хранения данных. Для каждого набора данных был разработан соответствующий модуль вычислительного ядра ЭО Платформы, обеспечивающий поиск и выборку требуемых данных, а также сформирован файл-дескриптор в формате XML, содержащий метаданные, описывающие набор и ускоряющий работу с набором.
Внешние программные модули статистической обработки данных были реализованы в рамках ЭО Платформы «Климат» и представлены в виде набора независимых классов, каждый из которых имеет уникальное имя и располагается в отдельном файле [26]. Каждый программный модуль реализует один метод обработки и наследуется от родительского класса cvcCalc, являющегося элементом вычислительного ядра и предоставляющего базовую функциональность по обработке данных.
Модули вычислительного ядра выполняются в среде GDL, а их вызов и управление производится PHP-контроллерами, реализуемыми в рамках специализированного веб-портала, являющегося основой ЭО Платформы «Климат». Контроллеры организованы в пакетную структуру и обеспечивают серверный интерфейс для взаимодействия с графическим интерфейсом пользователя, вычислительным ядром, стандартными картографическими вебсервисами (WMS/WFS/WCS) и хранилищем геопривязанных данных.
1 Skamarock W. C. et al. Description of the Advanced Research WRF Version 3. - NCAR technical note NCAR/TN-475+STR, 2008.
Специализированный веб-портал является ключевым звеном, связывающим элементы разработанной платформы и обеспечивающим взаимодействие с пользователем. В нем реализованы механизмы авторизации пользователей, подключение к базам данных, использование HTML-шаблонов, языковая локализация, система управлением контентом (CMS) и ряд других возможностей. Его разработка выполнена в рамках общих принципов и стандартов в области разработки программного обеспечения, предоставляющего картографические вебсервисы, разработанных международной некоммерческой организацией Open Geospatial Consortium (OGC, http://www.opengeospatial.org). После выполнения сравнительного анализа проектов с открытым исходным кодом для реализации ЭО Платформы был выбран современный продукт Geoserver версии 2.1.0. Таким образом, веб-портал обеспечивает функциональность веб-приложений для работы с картографическими слоями при манипуляции геофизическими данными и результатами их обработки (рис. 2).
Графический интерфейс веб-приложения (веб-интерфейс) был создан с использованием специализированной JavaScript-библиотеки разработанного ранее программного инутрумен-тария и представляет собой комплекс программ на языках PHP, JavaScript, HTML, обеспечивающих пользователя программно-аппаратной платформы «Климат» интуитивно-понятным онлайн-инструментом, подобным интерфейсам таких распространенных настольных ГИС-приложений, как uDIG, QuantumGIS и др. (рис. 3).
Основная функциональность веб-интерфейса заключается в формализации запросов пользователя, решающего вычислительную задачу в области климато-экологического мониторинга и прогноза и, таким образом, в формировании задач для модульного вычислительного ядра, а также в корректном представлении результатов вычислений в цифровом и графическом (в виде WMS-слоев) форматах с использованием современных веб-ГИС-технологий, в виде, привычном пользователю типовой настольной ГИС. Веб-интерфейс также предоставляет интерфейс программирования приложений (API) для реализации соответствующих PHP-контроллеров, связывающих вычислительное ядро платформы, веб-портал и картографические веб-сервисы.
Рис. 2. Выбор картографического слоя
Рис. 3. Графический интерфейс веб-приложения
Таким образом, веб-интерфейс обеспечивает следующие базисные элементы:
• окно отображения карты с соответствующей информационной панелью (масштабная линейка, навигационная карта, координаты, размеры показываемой области, используемые легенды);
• список слоев отображаемой карты с возможностью добавления / удаления, включения / выключения, просмотра / редактирования свойств;
• панель навигации;
• общая информационная панель, отображающая текущее состояние приложения;
• общее меню и панель инструментов приложения (увеличение / уменьшение / центрирование / перерисовка карты, информация по заданному объекту, рисование линий / полигонов, и т. д.);
• окно вывода результата запроса пользователя (координаты точки, значения вычисляемых параметров для включенных слоев);
• контекстно-зависимое меню по правому клику мыши;
• диалоговые окна;
• аналитические таблицы и графики.
Следует отметить, что JavaScript-библиотека программного инструментария, предназначенная для проектирования графического интерфейса пользователя в рамках веб-браузера, основана на ПО GeoExt (http://www.geoext.org/), ExtJS Framework [27] и OpenLayers (http://openlayers.org). Взаимодействие браузера с сервером производится асинхронно без перезагрузки веб-страниц. Программный инструментарий обеспечивает ряд базисных компо-
нент графического интерфейса типового веб-ГИС-приложения, таких как окно отображения карты, информационные панели, списки слоев, меню, кнопки, тулбары, диалоговые окна, обработчики стандартных событий (события мыши, клавиатуры) и т. д., что заметно повышает эффективность процесса разработки веб-интерфейса за счет их повторного использования.
Модели «WRF» и «Planet Simulator» были выбраны для интеграции в ЭО Платформы для анализа современных климатических процессов с высоким пространственным разрешением и выполнения высокоскоростных оценок возможных в будущем климатических изменений. Адаптированная модель «WRF» представляет собой WRF ARW комплекс версии 3.2.1 [28] установленный и настроенный на многопроцессорной вычислительной системе. Данная модель собрана в единый компонент с возможностью запуска посредством выполнения одного исполняемого файла. Это позволяет обеспечить запуск и управление моделью через веб-ГИС-портал ЭО Платформы с целью решения задач в области исследования динамики климатических параметров.
Функциональное назначение интегрированной аналогичным образом в ЭО Платформы модели «Planet Simulator» - выполнение вычислений для выбранного набора значений концентрации углекислого газа для периода с 2000 по 2100 г. (сценарного моделирования) и сохранение их результатов в распределенном архиве для последующего использования в тематических приложениях и веб-сервисах.
Интегрированная в платформу информационная среда взаимодействия распределенных групп специалистов базируется на программном обеспечении Wordpress (http://word-press.org/), Wiki (https://www.dokuwiki.org/) и Subversion (http://subversion.apache.org/) и представляет собой комплексное решение по информационной поддержке использования ЭО Платформы, включающее возможности создания пользовательских блогов, пользовательских групп с ограничением доступа к информации по группам, публичных или ограниченных (по конкретным пользователям и группам) блогов, публикации ресурсов (ссылок на сетевые ресурсы, файлы презентаций, статей, результатов расчетов), а также совместной разработки программного обеспечения и документации (система контроля версий).
Заключение
Разработанный в качестве технологической основы геопортала локальной инфраструктуры пространственных данных для поддержки исследований в области климато-экологи-ческого мониторинга экспериментальный образец платформы «Климат» обеспечивает информационно-вычислительную поддержку исследований изменений регионального климата, объединяя современные концепции Web 2.0 и возможности доступа к климатическим и метеорологическим моделям, большим наборам геофизических данных, сервисам их обработки и визуализации, совместной разработки приложений распределенными научными коллективами, включая проведение научных исследований на основе этих приложений, а также организации обучения студентов и аспирантов. Таким образом, обеспечивается доступ для конечного пользователя ко всем функциям платформы через интерактивный графический интерфейс в рамках стандартного веб-браузера, в том числе визуализация результатов обработки пространственно-привязанных геофизических данных с помощью веб-ГИС-техно-логий.
Список литературы
1. Гордое Е. П., Лыкосов В. Н. Развитие информационно-вычислительной инфраструктуры для интегрированного исследования окружающей среды Сибири // Вычислительные технологии. 2007. Т. 12. Спец. выпуск 2: Информационные технологии для эколого-биологиче-ских исследований. Междисциплинарный интеграционный проект СО РАН. С. 19-30.
2. Steiniger S., Hunter A. J. S. Free and Open Source GIS Software for Building a Spatial Data Infrastructure // Bocher E., Neteler M. (eds.). Geospatial Free and Open SourceSoftware in the 21st Century, LNGC. Heidelberg, Springer, 2012. Р. 247-261.
3. Кошкарев А. В., Ряховский В. М., Серебряков В. А. Инфраструктура распределенной среды хранения, поиска и преобразования пространственных данных // Открытое образование. 2010. № 5. С. 61-73.
4. Кошкарев А. В., Батуев А. Р., Ермошин В. В., Каракин В. П., Краснопеев С. М. Инфра-
структуры пространственных данных: международный опыт, российские академические информационные ресурсы, геопорталы и геосервисы // Тематическое картографирование для создания инфраструктур пространственных данных: Материалы IX науч. конф. по тематической картографии (Иркутск, 9-12 ноября 2010 г.): В 2 т. Иркутск, 2010. Т. 1. C. 80-82.
5. Демиденко А. Г. Технология построения инфраструктуры пространственных данных. URL: http://www.gisa.ru/file/file2128.doc.
6. Кошкарев А. В. Геопортал как инструмент управления пространственными данными и геосервисами // Пространственные данные. 2008. № 2. С. 6-14.
7. Крюков А. П., Жижин М. Н., Пойда А. А., Мишин Д. Ю., Медведев Д. П., Демичев А. П., Коковин Д. С. Разработка RESTful-веб-сервисов удаленного доступа к ресурсам хранения данных для распределенных систем в области наук о Земле. М., 2012. Препринт НИИЯФ МГУ № 2012-4/882.
8. Гордов Е. П., Богомолов В. Ю., Генина Е. Ю., Окладников И. Г., Титов А. Г., Шульги-
на Т. М. Геоинформационная веб-система для исследования региональных природно-климатических изменений и первые результаты ее использования // Оптика атмосферы и океана. 2012. Т. 25, № 2. С. 137-143.
9. Dragicevic S., Balram S., Lewis J. The Role of Web GIS Tools in the Environmental Modeling and Decision-Making Process // 4th International Conference on Integrating GIS and Environmental Modeling (GIS/EM4): Problems, Prospects and Research Needs. Banff, Alberta, Canada, 2000.
10. Wel F. J. M. van der. Spatial data infrastructure for meteorological and climatic data // Meteorol. Appl. 2005. Vol. 12. P. 7-8. D0I:10.1017/S1350482704001471.
11. Gupta A., Marciano R., Zaslavsky I., Baru C. Integrating GIS and Imagery through XML-Based Information Mediation // P. Agouris and A. Stefanidis (Eds.). Integrated Spatial Databases: Digital Images and GIS, Lecture Notes in Computer Science. 1999. Vol. 1737.
12. Peng Z.-R., Tsou M.-H. Internet GIS // Distributed Geographic Information Systems for the Internet and Wireless Networks. N. Y.: John Wiley & Sons, 2003.
13. Vatsavai Ranga Raju, Thomas E. Burk, B. Tyler Wilson, Shashi Shekhar. A Web-based Rowsing and Spatial Analysis System for Regional Natural Resource Analysis and Mapping // Abstracts of reports at the 8th ACM int. symp. on Advances in geographic information systems. Washington, D C., 2000. P. 95-101.
14. Gordov E. et al. Development of Information-Computational Infrastructure for Environmental research in Siberia as a baseline component of the Northern Eurasia Earth Science Partnership Initiative (NEESPI) Studies // Regional Environmental Changes in Siberia and Their Global Consequences / Springer Environmental Science and Engineering, ISBN: 978-94-007-4568-1. Groisman, Pavel Ya.; Gutman, Garik (Eds.) 1st ed. 2013. 357 p. (in press).
15. Leptoukh G., Berrick S., Rui H., Liu Z., Zhu T., Shen S. NASA GES DISC On-Line Visualization and Analysis System for Gridded Remote Sensing Data // Proc. of the 31th International Symposium of Remote Sensing of the Environment. St. Petersburg, 2005.
16. Prusevich A., Shiklomanov A., Lammers R. RIMS: An Integrated Mapping and Analysis System with Application to Siberia // Вычислительные и информационные технологии для наук об окружающей среде: Избр. Тр. Междунар. шк. и конф. CITES-2011. Томск: Том. ЦНТИ, 2011. С. 156-158.
17. Гордов Е. П., Окладников И. Г., Титов А. Г. Программный инструментарий для поддержки исследований в области климато-экологического мониторинга // Тр. XIV Всерос. объединенной конф. «Интернет и современное общество» (IMS-2011). СПб., 2011. С. 45-52.
18. Окладников И. Г., Титов А. Г., Гордов Е. П. Системное программное обеспечение веб-ориентированного производственно-исследовательского центра мониторинга и прогноза региональных климатических изменений // Электронный физико-технический журнал. 2012. Т. 7. С. 53-59.
19. Kalnay E. et al. The NCEP/NCAR 40-Year Reanalysis Project // Bulletin of the American Meteorological Society. 1996. Vol. 77. No 3. P. 437-471.
20. Kanamitsu M. et al. NCEP-DOE AMIP II Reanalysis (R-2) // American Meteorological Society. 2002. P.1631-1643.
21. Onogi K. et al. The JRA-25 Reanalysis // Journal of the Meteorological Society of Japan. 2007. Vol. 85. No. 3. P. 369-432.
22. ERA-40 Project Report Series // European Centre for Medium Range Weather Forecasts, No. 17, 2007. URL: http://emcc.dmi.gov.tr/FILES/model-data/ERA40_PRS17_rev1.pdf.
23. Dee D. P. et al. The ERA-Interim reanalysis: configuration and performance of the data assimilation system // Quarterly Journal of the Royal Meteorological Society. 2011. Vol. 137. P. 553597. DOI: 10.1002/qj.828.
24. Compo G. P. et al. The Twentieth Century Reanalysis Project // Quarterly Journal of the Royal Meteorological Society. 2011. Vol. 137. P. 1-28. DOI: 10.1002/qj.776.
25. Fraedrich K., Jansen H., Kirk E., Luksch U., Lunkeit F. The Planet Simulator: Towards a User Friendly Model // Meteorologische Zeitschrift. 2005. Vol. 14. No. 3. P. 299-304.
26. Шульгина Т. М., Окладников И. Г., Титов А. Г., Гордов Е. П. Прикладное программ-
ное обеспечение веб-ориентированного производственно-исследовательского центра мониторинга и прогноза региональных климатических изменений // Электронный физикотехнический журнал. 2012. Т. 7. С. 42-52.
27. Frederick S., Ramsay C., Cutter Blades S. Learning Ext JS. Packt Publishing. 2008. 299 p.
28. Wei Wang et al. ARW version 3 Modeling System User’s Guide. NCAR, 2012. URL: http://www.mmm.ucar.edu/wrf/users/docs/user_guide_V3/ARWUsersGuideV3.pdf
Материал поступил в редколлегию 13.10.2012
A. G. Titov, E. P. Gordov, I. G. Okladnikov
HARDWARE-SOFTWARE PLATFORM «CLIMATE»
AS A BASIS FOR LOCAL SPATIAL DATA INFRASTRUCTURE GEOPORTAL
In this paper the experimental software and hardware platform «Climate» for monitoring and forecast of regional climate and ecological changes and educational support is presented. It was created as a basis of local spatial data infrastructure geoportal and implements such modern technologies as Web 2.0, web mapping, interactive access to computational climate modules as well as to georeferenced datasets and data processing and visualization tools.
Keywords: geospatial data, information systems, web technologies, GIS, climate change.
