CC BY
58
Информационныетехнологии
Вестник ДВО РАН. 2006. № 3
М.Ю .МАРТЫНОВ, Р.А.КОРОТЧЕНКО, И.О.ЯРОЩУК, А.С.ЛЯШКОВ, А.Н.ШВЫРЕВ
Интернет-портал экспериментальной гидроакустики
Обсуждаются проблемы автоматизации научных исследований. В качестве возможного варианта решения приведен пример портала сейсмоакустических данных, работающий совместно с системой ведения экспериментальных работ. Показаны преимущества основных используемых технологий (Java, XML). Представлена топология информационной системы поддержки экспериментальных работ в процессе гидроакустических измерений. Указаны перспективные направления дальнейшего развития портала сейсмоакустических данных как в качестве системы поддержки экспериментальных работ, так и в качестве научно-аналитической системы.
Experimental hydroacoustics Web portal. M.Yu.MARTYNOV, R.A.KOROTCHENKO, I.O.YAROSHCHUK,
A.S.LYASHKOV, A.N.SHVYRYOV (V.I.Il'ichev Pacific Oceanological Institute, FEB RAS, Vladivostok).
Science research automation problem is discussed in this paper. As an illustration of possible solution web portal of acoustical data is given. Advantages of basic employed technologies (Java, XML) are shown. Topology of experiment supporting information system on-stream is submitted. Perspective directions of further acoustical data portal development are pointed out.
Разработка и создание удаленно доступных информационных систем, несомненно, наиболее интенсивно развивающееся направление современной информационной индустрии. Причинами этого являются как само развитие информационных технологий (например, «сетевое» программирование), так и рост производительности вычислительной техники и ее массовое использование во всех сферах жизнедеятельности общества, развитие сети Интернет и т.п.
Все это оказало заметное влияние и на развитие науки. Одной из важнейших ее тенденций, связанных с информатизацией, является интеграция научных исследований в смежных областях. Проблемы информатизации возникают при проведении длительных комплексных экспериментальных исследований, которые требуют многолетних натурных наблюдений и измерений, математической обработки данных, разработки и модификации теоретических моделей природных процессов. Примером подобных исследований может служить акустический и сейсмоакустический мониторинг шельфовой зоны дальневосточных морей. В гидроакустических экспериментах используется набор излучающих и приемных средств, с разными тактико-техническими данными, например, различными могут быть частотные диапазоны приема-излучения, заглубление и местоположение приборов. Кроме того, постоянно ведутся метеорологические наблюдения, отслеживается изменение акустико-океанологических факторов. Как в процессе подготовки, так и при проведении эксперимента разрабатываются теоретические модели, методы математической обработки и статистического оценивания геоакустических свойств среды и волновых полей [4-6].
МАРТЫНОВ Михаил Юрьевич, КОРОТЧЕНКО Роман Анатольевич, ЯРОЩУК Игорь Олегович - доктор физико-математических наук, ЛЯШКОВ Алексей Сергеевич, ШВЫРЕВ Алексей Николаевич - кандидат физико-математических наук (Тихоокеанский океанологический институт им. В.И.Ильичева ДВО РАН, Владивосток).
Работа выполнена при финансовой поддержке РФФИ, грант № 03-07-90141-В.
Большие объемы полученных данных, длительный процесс их обработки, корректировки и статистического анализа объективно вынуждают исследователей расходовать часть своего научного потенциала на создание баз данных, содержащих результаты исследований. Как правило, на определенном этапе исследований принципиально важным становится создавать уже не только базы данных, но и средства доступа к специфическим данным и средства визуализации этих данных, интегрировать разнообразные данные и системы.
Таким образом, в процессе комплексных научных исследований нужны не просто базы данных, а средства работы с ними на всех сетевых уровнях Интернет и Интранет. Современные информационные технологии делают интернет-портал именно таким средством.
Стоит сказать несколько слов о понятии «портал». Дать точное определение этого понятия практически невозможно. Наблюдаемое в последнее время бурное, никем не контролируемое развитие Интернета вызывает некоторый сумбур и неопределенность связанной с ним терминологии. Чтобы убедиться в этом, достаточно выполнить предметный поиск в сети Интернет. Различные ведомства и крупные компании определяют понятие «портал» в ракурсе своей специфической деятельности. Многие коммерческие фирмы, разрабатывающие программное обеспечение и предоставляющие информационные ресурсы в сети Интернет, следуя моде и законам конкуренции, просто называют свои веб-сайты порталами.
Тем не менее некоторые общие свойства портала удается обрисовать. Для этого уместно вспомнить, что представляет собой обычный веб-сайт. В нескольких словах - это простое кодирование И1:т1-страниц и определенная их иерархия. Эти страницы размещены на определенном сервере, предоставляющем хостинг. Такой сайт начинает умирать сразу, потому что изменение документа происходит вручную и неоперативно. Это сайт статичный. Но есть и динамичные сайты. В их строение входят база данных и целый ряд информационных ресурсов, которые оперативно пополняются и обновляются. Эти сайты уже обладают качественно новыми свойствами, и часто их и называют порталами. Более строго можно определить портал как инфраструктурный продукт, который обеспечивает работу веб-приложений [7]. Это среда для их разработки и запуска, а также для унифицированного и администрируемого доступа пользователей к различным информационным ресурсам и сервисам (базам данных, информационным системам, системам электронного документооборота и т.д.). Портал призван собирать разнородную информацию из различных источников и визуализировать ее неким стандартным образом («в одном окне»), чтобы это было удобно для всех пользователей. Причем доступ к ней осуществляется по обычным веб-каналам, через простой веб-браузер. Обеспечение с помощью технологий веб-интеграции контроля над всеми информационными процессами - в этом суть и смысл портала. Для экспериментальных работ важно то, что информационное содержание портала можно обновлять отовсюду, где есть Интернет. Даже в полевых условиях эксперимента. Для того чтобы добавить новую страничку, нужно лишь нажать на соответствующий пункт меню администратора и ввести необходимый текст, снабдив его, возможно, иллюстрациями. После этого нажать на кнопку «опубликовать», и вот уже новый материал доступен всем исследователям, оформление у него абсолютно идентично другим страницам сайта, и все ссылки на всем сайте уже обновлены и работают.
Выбор конкретного портального решения - достаточно серьезная задача. В различных ведомствах она решается с учетом уже внедренных платформ.
В течение последних лет в рамках двух целевых программ Президиума РАН: «Телекоммуникации» и «Информатизация» - осуществляется создание и развитие единого научного информационного пространства (ЕНИП) РАН. Разработка средств интеграции распределенных данных научных институтов и создание комплекса аппаратных, программных и организационных мер, обеспечивающих формирование состава цифровых ресурсов и служб ЕНИП РАН и предоставление к ним доступа, являются одними из приоритетных направлений [9].
Для обеспечения оперативного развертывания, интеграции и взаимодействия узлов ЕНИП коллективом ВЦ РАН создана архитектура и технология Интегрированной системы информационных ресурсов (ИСИР), позволяющая разрабатывать распределенные объектно-ориентированные информационные системы: цифровые библиотеки, информационные и корпоративные порталы, сайты на базе различных типов хранилищ информации [1, 2].
С 2003 г. ТОИ ДВО РАН, совместно с ВЦ РАН, разрабатывает именно такой специализированный узел ЕНИП: информационную систему поддержки гидроакустических исследований, основанную на технологии ИСИР. Данный информационный ресурс, размещенный в сети Интернет, соответствует требованиям, предъявляемым к интернет-порталам, а согласно предлагаемым функциям может быть назван порталом гидроакустических данных.
Проблематика разработки
Совокупность и разнообразие задач, преследуемых при реализации информационной системы, привели к выделению слоев, отвечающих за две важнейшие задачи:
1) взаимодействие разрабатываемого портала с интегрированной средой информационных ресурсов (ИСИР) РАН [1, 7] и федеральной «Единой системой информации о Мировом океане» (ЕСИМО), 2) практическое применение информационной системы в экспериментальных гидроакустических исследованиях, предполагающее использование программного комплекса в ходе регулярных исследований ТОИ на шельфах Японского и Охотского морей.
В силу различной направленности задач система управления данными и метаданными портала разделяется на 3 слоя (2 самостоятельных и 1 согласующий), имеющих общую и специальную области применения. Схема «2+1» слоев информационной системы портала выглядит следующим образом.
1. Общий и корпоративный уровень открытой информации
Сведения о работах, организациях и материалах, имеющих отношение к гидроакустике. Сведения об экспедициях и обзорно-отчетная информация по итогам работ.
2. Интерфейсный слой
Отбор представительной для общего доступа информации и оформление визуального представления данных. Поддержка работы экспертов и обработчиков материалов наблюдений.
3. Локальный (экспедиция, проект)
Детальная информация: совокупность и установки оборудования, этапы исследований, исходные данные и результаты обработки, журналы работ и т.д.________________________________________________________
Идеология портала направлена на создание единого информационного пространства в области подготовки, проведения и обработки результатов натурных гидрофизических экспериментов, улучшения координации работы исследовательских подразделений и интеграции накопленных результатов. Заложенная в проект специализация, связанная с акустическими методами исследований, имеет целью вовлечь в единое информационное пространство все этапы и звенья эксперимента - от регистрации до представления результатов.
Прогресс в области компьютерных технологий открыл ряд возможностей для организации более надежной и гибкой информационной структуры за счет активного использования программируемых микроконтроллеров и расширения функциональности и управляемости отдельных узлов регистрационно-измерительных комплексов. Но все преимущества новых микропроцессорных технологий в настоящее время пока не используются, поскольку это ведет к пересмотру организации интерфейса аппаратно-регистрационных систем и изменению подхода к созданию информационной системы поддержки
Рис. 1. Схема интеграции информационных систем экспериментальных исследований
эксперимента в целом. Однако прогресс в области создания сложных и многофункциональных систем наблюдения и обработки данных невозможен без перехода на новейшую аппаратную базу и широкого использования интернет-технологий. Создание информационной системы портала является продуктом накопленного в ТОИ опыта разработки и эксплуатации современных программно-аппаратных комплексов регистрации.
На основе современных принципов взаимодействия информационных систем определилась топология, которая обеспечивает подключение систем сопровождения экспериментальных работ к разделяемым информационным ресурсам. На рис. 1 показана иерархическая схема интеграции аппаратно-регистрационных комплексов в информационную систему портала. Развитие функциональности портала призвано обеспечить доступ исследователей к данным регистрации в реальном времени, с одной стороны, и облегчить создание сложных систем обработки и анализа данных за счет привлечения внешних вычислительных ресурсов - с другой.
Архитектура портала
Разработка и реализация верхнего слоя портала ведутся на основе онтологического представления предметной области экспериментальной гидроакустики с применением технологии ИСИР [2]. Эта технология позволила реализовать в портале следующие унифицированные сервисы:
• управление идентификацией;
• консолидированное хранилище учетных записей пользователей;
• единую систему аутентификации;
• единую систему авторизации;
• единую консоль управления;
• аудит доступа к сервисам;
• ведение статистики использования сервисов.
Информация, предоставляемая системой для общего доступа, относится к открытой научной информации, она состоит из библиотечных данных о проведенных экспериментах, организациях, на базе которых проводились эксперименты, экспериментаторах, схемах эксперимента, форматах данных, публикациях по материалам экспериментов. Данные организованы в виде базы, работающей под управлением Microsoft SQL Server. Основными языками разработки являются HTML, XML, Java, Java-script, JSP, SQL.
Использование технологии ИСИР позволило эффективно реализовать ряд высокоуровневых сервисов. Сервисы сериализации и десериализации обеспечивают выгрузку хранимых объектов из репозитория в XML/RDF-файл и загрузку XML/RDF-файл в репозиторий. На базе служб сериализации и десериализации функционирует сервис реплика -ции данных между распределенными в Интернет репозиториями. Он обеспечивает обмен XML/RDF-данными между распределенными в компьютерной сети ресурсами. Сервис глобальной идентификации обеспечивает глобальную идентификацию некоторых ресурсов репозитория в Интернете и позволяет получить доступ к ресурсу через web, а сервис индексирования - построение атрибутно-полнотекстового IDF-индекса по хранимым объектам репозитория и XML/RDF данным, предоставленным сервисом сериализации для внешних информационных источников, либо по текстовым и HTML-файлам. Сервис поиска по атрибутно-полнотекстовому индексу ранжирует выбранные запросом объекты в соответствии с частотными характеристиками вхождений слов.
Потенциальные возможности портала как информационного комплекса значительно возрастают, если обеспечены интеграция отдельных экспериментальных систем и совместное использование информации группами исследователей. Наиболее показательна проблематика, связанная с организацией систем мониторинга [11]. Подготовка и планирование работ, регистрация и обработка данных, анализ результатов и хранение информации мониторинга требуют согласования программной среды с аппаратной частью комплекса: в наблюдениях задействованы разнообразные компьютеризированные устройства, вычислительные процедуры, и необходимо обеспечить обмен потоками данных между узлами системы.
Поскольку портал играет роль узлового координатора данных, то в целях обеспечения связи интерфейса с локальными информационными системами разрабатывается специальный слой программного обеспечения в качестве базового шаблона такой системы. При его создании анализировалась типичная проблематика работы систем поддержки эксперимента: организация регистрационной системы, каналов передачи данных, организация и адаптация программного комплекса, интеграция с внешними информационными ресурсами.
Сложности организации и управления распределенным и разнородным материалом указали на необходимость применения технологии открытых систем (ТОС) [9; http://www.transparentfactory.com, http://tmn.al.ru], призванных обеспечить общий подход к созданию программной среды.
Основной принцип ТОС состоит в создании среды, включающей программные и аппаратные средства, службы связи, интерфейсы, форматы данных и протоколы, которая в своей основе имеет развивающиеся, доступные и общепризнанные стандарты и обеспечивает переносимость, взаимодействие и масштабируемость приложений и данных.
Другой принцип заключается в использовании методов функциональной стандартизации, сводящихся к построению профиля - согласованного набора базовых стандартов, необходимых для решения конкретной задачи или класса задач.
Для интеграции локальных программно-аппаратных комплексов в состав портала необходимо было выбрать подходящую архитектуру подключения аппаратных модулей, основанную на ТОС.
Использование разработки в контексте открытых систем в первую очередь подразумевает поддержку стандартных протоколов и соглашений между приложениями, обеспечивающих согласование потоков данных от разнообразных внешних информационных источников и возможность интеграции системы в другие информационные комплексы. Использование специальных коммерческих программных продуктов внутри разработки не обязательно, но оно позволило сократить затраты на реализацию и отладку системы.
Поскольку в области аппаратных средств за последние годы также произошли значительные изменения, связанные с прогрессом в развитии «встроенных систем» (embedded systems), стал актуальным подход совместной разработки аппаратуры и программного обеспечения (hardware/software codesign - HSC). Под HSC понимают методологию, инструментальные средства и практическую деятельность, которые поддерживают согласование аппаратных и программных компонентов в течение их проектирования и разработки. В нашем конкретном случае для портала используется технология HSC на базе Интернет/Интранет, основанная на концепции Transparent Factory (TF) (http://www.transparentfactory. com, http://tmn.al.ru).
Концепцию Transparent Factory кратко можно охарактеризовать как набор расширенных коммуникационных сервисов, доступных в каждом компоненте системы управления. С использованием TF становится возможным построение сложной системы с непосредственным прямым доступом на все уровни, к каждому устройству (интеллектуальному датчику, модулю ввода/вывода и т.д.).
Применяемое в нашей разработке архитектурное решение, основанное на перечисленных выше принципах, иллюстрируется на рис. 2.
Иллюстрация работы портала
На первом этапе развертывания портала проводится пополнение баз данных материалами экспериментальных исследований. Для представления информации разработан специальный дизайн, включающий в себя графические рисунки, таблицы стилей и специальные веб-формы. На рис. 3 представлен скриншот одного из этапов регистрации исследовательских работ.
Доступ к подробным сведениям о содержании работ, задействованных в проекте организациях и объектах наблюдения может быть получен путем перехода в подсистему ведения экспериментальных работ.
На рис. 4 показана форма с открытым списком объектов наблюдений в разделе «Суда и морские сооружения». Из списка выполняется переход на карточку отдельного объекта наблюдений с подробной информацией. Следует заметить, что в силу необходимости работы с большим объемом слабо структурированной информации, поступающей в процессе накопления данных, хранилище информации для подсистем ведения экспериментальных работ реализовано на основе не реляционной, а объектной СУБД Cache Intersystems (http:// www.intersystems.com).
С целью интеграции в портал более функциональной подсистемы поддержки экспериментальных работ, на основе технологии ActiveX выполняется подключение в портал следующих оригинальных пакетов программ:
1) пользовательского интерфейса, обеспечивающего доступ к общей файловой структуре, БД, программам обработки;
2) конвертации и загрузки данных и файлов в БД эксперимента;
3) контроля систем регистрации и источников данных;
4) спектрального анализа временных рядов.
Подсистема анализа и обработки временных рядов в течение ряда лет используется в научных исследованиях, выполняемых ТОИ ДВО РАН на шельфе Японского моря
Рис. 2. Схема взаимодействия портала и подсистемы экспериментальных исследований
(морская экспериментальная станция «Мыс Шульца») и на северном шельфе о-ва Сахалин. Типичная конфигурация поста наблюдений иллюстрируется на следующей схеме.
Как видно на рис. 5, для работы использовался распределенный по нескольким компьютерным системам программный комплекс. Данные поступали как по радиоканалу, так и по обычным линиям. Имелось 3 типа устройств: аналоговые радиоакустические буи, цифровые радиогидроакустические буи (ЦРГБ) и комбинированная гидроакустическая антенна.
Использование отдельных микроконтроллерных плат для ввода данных с каждого ЦРГБ и стандартного сетевого протокола позволили построить распределенную гетерогенную компьютерную сеть и разделить информационную нагрузку по нескольким вычислительным системам. Каждый цифровой буй рассматривался как элемент компьютерной сети, что обеспечило увеличение производительности и надежности информационного комплекса в целом.
Подобная топология реализует фрагмент общей схемы рис. 1 и обеспечивает возможности дублирования потоков информации. Наличие интернет-канала позволяет связать подобную систему с внешними ресурсами и обеспечить доступ к данным и результатам
Рис. 3. Регистрация исследовательских работ
анализа в системе портала. Способность же портала взаимодействовать с распределенной системой ЕНИП, в свою очередь, делает возможным предоставление информации по внешним запросам.
Заключение
В настоящее время разработанный авторами портал в режиме on-line уже предоставляет исследователям самые необходимые сервисы для накопления и работы с экспериментальными данными и сопутствующей информацией. Осуществляется атрибутный поиск по наиболее важным типам данных. Проведено тестирование распределенного взаимодействия в системе ЕНИП. Ресурс доступен по адресу: http://acoustics.poi.dvo.ru. Опыт применения модулей информационной системы портала в ходе экспериментальных исследований на шельфах Японского и Охотского морей в течение 2003-2005 гг. показал перспективность выбранного подхода и заинтересованность специалистов в подобном информационном ресурсе [3, 4].
Развитие портала предполагается вести в двух направлениях.
Первое - это расширение информационных возможностей для внутреннего использования в рамках ДВО РАН (сеть Интранет). Здесь предусмотрено создать хранилища геологических и океанологических данных, которые необходимы для формирования
Рис. 4. Объекты наблюдений в ходе работ по проекту
геоакустических моделей, а также экспериментальных данных для разработки волновых моделей сейсмоакустических полей. Такие работы потребуют расширения выбранной онтологии и классов метаданных, а результатом будет интеграция портала с системой поддержки сейсмоакустического мониторинга шельфовой зоны зал. Посьета, которая развивается параллельно отделом акустики ТОИ ДВО РАН [8].
Второе направление - это совершенствование выбранной платформы портала на основе технологии рабочих процессов [10]. Постоянное увеличение объемов натурной информации и теоретических изысканий в итоге приводит к необходимости решения важной управленческой задачи - автоматизации процесса накопления и обработки данных, выбора и подключения оптимальных математических моделей и программного обеспечения для численного моделирования. Формализация исследовательских действий в виде научных рабочих процессов и последующая их автоматизация позволят повысить
Рис. 5. Топология информационной системы поддержки экспери- скорость взаимодействий с поль-ментальных работ в процессе гидроакустических измерений зователями и приложениями, а
ЫйЛНВЫ1^1
и™’*0'''**'11
Й й й й £ I Е £
также контролируемость и предсказуемость таких процессов, что значительно уменьшит затраты времени на трудоемкую обработку данных.
Авторы признательны московскому представительству компании «Intersystems», безвозмездно предоставившему постреляционную СУБД Cache 5.Q.
ЛИТЕРАТУРА
1. Бездушный А.А., Нестеренко А.К., Сысоев Т.М. и др. Архитектура и технологии RDFS-среды разработки цифровых библиотек и Web-порталов // Электронные библиотеки. 2QQ3. № 4. - http://www.elbib.ru/index.phtml?-page=elbib/rus/journal/2QQ3/part4.
2. Бездушный А.А., Нестеренко А.К., Сысоев Т.М., Бездушный А.Н., Серебряков В.А. Возможности технологий ИСИР в поддержке Единого научного информационного пространства РАН // Электронные библиотеки. 2QQ4. Т. 7, вып. б.
3. Бездушный А.Н., Коротченко Р.А., Ярощук И.О. Проект виртуального геофизического полигона на основе морской экспериментальной станции ТОИ ДВО РАН «Мыс Шульца» // Материалы докл. всерос. конф. «Сейсмоакустика переходных зон». Владивосток: ДВГУ, 2QQ3. C. ^З-^б.
4. Борисов С.В., Гриценко А.В., Коротченко Р.А., Рутенко А.Н. Аппаратурный комплекс для акустико-гидрофизических исследований на шельфе и результаты его применения в натурных экспериментах // Вестн. ДВО РАН. 2QQ3. № 2. С. ^-29.
б. Долгих Г.И., Ярощук И.О., Свининников А.И. и др. Исследования отражающих свойств донных осадков шельфа Японского моря // Сб. тр. XVI сес. РАО. Т. 2. М.: ГЕОС, 2QQ5. С. 2Q3-2Q6.
6. Долгих Г.И., Долгих С.Г., Ковалев С.Н. и др. Лазерный нанобарограф и его применение при изучении баро-деформационного взаимодействия // Физика Земли. 2QQ4. № В. С. B2-9Q.
7. Интегрированная система информационных ресурсов / под ред. Серебрякова В.А. М.: ВЦ РАН, 2QQ4. 24Q с.
В. Коротченко Р.А, Ляшков А.С., Мартынов М.Ю., Швырев А.Н., Ярощук И.О. Информационная система поддержки гидроакустических экспериментов на основе объектной СУБД Cache // Сб. тр. XVI сес. РАО. Т. 2. М.: ГЕОС, 2QQ5. С. 334-337.
9. Кулагин М.В. Развитие научной телекоммуникационной и информационной инфраструктуры РАН в 2QQ4 г. (ЕНИП РАН). IV раб. совещ. «Информационные системы в фундаментальной науке» САО РАН, Нижний Архыз, 27-29 июля 2QQ4 г. - http://acoustics.poi.dvo.ru/PH/Kulagin.ppt
lQ. Нестеренко А.К., Бездушный А.Н., Сысоев Т.М., Ярощук И.О. Интеграция научных информационных систем посредством механизма рабочих процессов // Сб. науч. тр. конф. RCDL по информатике. М., 2QQ5. С. 16В-167.
ll. Романов А.А. Геоинформационные технологии и интерактивная компьютерная обработка изображений в задачах дистанционного зондирования океана: учеб. пособие. М.: МФТИ, l999. 23Q c.
