CC BY
64
УДК 528.852.8
А. В. Ходяев, А. П. Шевырногов, А. В. Картушинский
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ТЕМАТИЧЕСКОЙ ОБРАБОТКИ СПУТНИКОВЫХ ДАННЫХ ДЛЯ ЭКОЛОГИЧЕСКОГО МОНИТОРИНГА ВОД МИРОВОГО ОКЕАНА
Рассмотрена созданная в Институте биофизики СО РАН технология последовательной тематической обработки спутниковых данных, представленных изображениями концентрации фитопигментов в поверхностном слое океана и температуры поверхности океана. Приводится анализ проблем разработки программного обеспечения тематической обработки спутниковых данных. Дается краткое описание этапа предварительной обработки данных. В качестве исходных данных использовались снимки, полученные со спутниковой аппаратуры 8ваШ1Е8, ЫОБШ и ЫОЛЛ.
Ключевые слова: цветовая характеристика океана, обработка спутниковых данных, экологический мониторинг Мирового океана.
В настоящее время ощущается высокая потребность в создании систем пространственно-временного мониторинга экосистем Мирового океана на базе интеграции существующих потоков информации. Остро стоит вопрос эффективного хранения и обеспечения доступа к архивам данных дистанционного зондирования Земли [1; 2]. Такая проблема решается путем разработки эффективной архитектуры системы хранения спутниковых данных, автоматизирующей процессы поиска требуемой информации [3].
Возможность автоматизации процесса доступа к разнородной информации, ее анализа и принятия решений позволит повысить эффективность управления и использования данных дистанционного зондирования в процессах мониторинга экосистем Мирового океана.
Общие требования к информационным системам тематической обработки спутниковых данных. Одной из основных задач обработки данных является картирование местоположения границ изменения изучаемого параметра (например, температура поверхности или концентрация хлорофилла). Для этого необходимы методы поиска подобных границ и их выделения.
Необходима возможность получения композитов различных временных масштабов, а также возможность отслеживания изменений на различных областях изображений.
Ввиду наличия множества спутниковых миссий необходим инструмент, который дает возможность объединять временные серии, полученные от различных космических аппаратов.
Требуются инструменты, позволяющие изучать пространственно-временные характеристики рядов данных. Такие инструменты должны включать в себя декомпозицию временных рядов, пространственновременное профилирование, построение градиентных полей.
Необходима система хранения спутниковых данных, играющая роль не только хранилища, но и системы, способной оперативно извлекать требуемые данные и эффективно распределять процессорное время. Такая система должна быть включена в единое информационное пространство совместно с системой статистической обработки данных.
Как правило, программное обеспечение обработки спутниковых данных реализует технологию, представленную на рис. 1.
В качестве примера на этапе предварительной обработки применяются отдельные программы для выделения интересующих областей на изображении, создания растровых изображений, построения композитов и восстановления пропущенных значений.
После этапа предварительной обработки используются программы для расчета градиентных полей и статистической обработки данных.
Каждая отдельная задача реализуется в своем отдельном модуле. Исходные данные, а также данные обработки не объединены общей системой хранения. Часто результаты обработки одного модуля или программы трудно совместимы с входными данными других модулей или программ.
В итоге у исследователя накапливается некоторое количество программных продуктов, выполняющих по отдельности необходимые задачи, но не представляющих единой системы обработки спутниковой информации.
Спутниковые данные представляют собой двоичные файлы, размеры которых достигают десятки и сотни мегабайт. Если происходит обработка данных за годовой промежуток, то при наличии ежедневной съемки обсчитываются порядка 360 снимков. При размерах каждого снимка 4096 х 2048 пикселей количество итераций может составлять более 3 млрд. А при обработке сразу нескольких спектральных каналов это число увеличивается в разы.
При подобных объемных вычислениях становится актуальной задача оптимального хранения файлов данных с целью их эффективного поиска и использования [4-6]. На сегодняшний день основным остается механизм, когда файл данных в исходном виде находится под управлением файловой системы и используется непосредственно во время выполнения расчетов. Даже если файлы находятся под управлением системы управления базами данных, то хранятся они как массивы двоичных данных и не подвергаются какой-либо обработке внутри самой базы данных [7; 8]. По мере необходимости подобные массивы данных извлекаются из базы данных, преобразуются в исходный формат и используются как обычные файлы [9].
Рис. 1. Пример технологии обработки спутниковых данных
Технология предварительной обработки спутниковых данных. Предлагается следующая оригинальная технология последовательной тематической обработки спутниковых данных (рис. 2).
Логически можно выделить три этапа тематической обработки данных, выполняемых друг за другом. Это предварительная обработка, собственно тематическая обработка и подготовка данных к выводу. Все этапы осуществляются в рамках единого информационного пространства. Также в это информационное пространство включена система хранения исходных данных и результатов обработки каждого из этапов.
Входные данные в исходном виде помещаются в систему хранения. После проведения предварительной обработки результаты обработки помещаются в систему хранения. Тематическая обработка проводится с использованием данных, прошедших предварительную обработку, а также, при необходимости, с использованием исходных данных. Результаты тематической обработки помещаются в систему хранения. Этап подготовки информации к выводу осуществляется на основе данных тематической обработки. Хранение результатов обработки на каждом этапе позволяет повторно выполнять необходимые расчеты, избегая предыдущих вычислений. Наличие общего информационного пространства позволяет на каждом этапе работы системы использовать общие вспомогательные процедуры и функции.
Рассмотрим более подробно этап предварительной обработки.
Предлагаются следующие этапы предварительной обработки данных.
1. При наличии в исходных данных пространственных ошибок необходимо провести процедуру выявления файлов с ошибками и устранить их.
К таким ошибкам могут относиться, например, неверное позиционирование снимаемой сцены. Снимаемая сцена некоторых спутниковых снимков может начинаться с различных значений широты и долготы, что при групповой обработке приводит к неверной интерпретации данных и резко снижает достоверность расчетов. Смещение изображения хотя бы на 100 пикселей при пространственном разрешении снимка 16 х 16 км составляет 1600 км на местности.
Разработанный авторами механизм выявления о шибок подобного рода основан на выявлении рядов с высоким значением дисперсии. На исходной сцене случайным образом выбираются несколько точек, строится временной ряд из значений параметра в каждой точке, и происходит расчет дисперсии. Файлы, значения точек которых имели высокие значения дисперсии, предлагаются пользователю для дальнейшего устранения ошибок. Метод устранения пространственного смещения представлен на рис. 3.
Исправление смещения работает в двух режимах:
- в автоматическом, при котором система начинает сдвигать всю сцену на один пиксель по широте или долготе. При этом продолжается сравнение значений дисперсии в ранее выбранных точках. Направление сдвига задается заранее пользователем. Сдвиг прекращается до тех пор, пока из временного ряда не исчезнут точки с высоким значением дисперсии;
- ручном режиме, при котором пользователь задает конечное положение сцены, указав количество пикселей по горизонтали и вертикали, на которое нужно сдвинуть ошибочно позиционированную сцену.
Рис. 2. Технологическая схема функционирования
ИСХОДНЫЕ ДАННЫЕ
і
Выбор случайных точек на изображении Т
Построение временных рядов ▼ —
Оценка
дисперсии
Т
Выявление изображений со смещением
АНАЛИЗ ДАННЫХ
УСТРАНЕНИЕ СМЕЩЕНИЯ
Попиксельное смещение изображения
Автоматический Ручной режим режим
Проверка дисперсии
ДАННЫЕ, ПРОШЕДШИЕ ПРЕДВАРИТЕЛЬНУЮ
ОБРАБОТКУ
\
Рис. 3. Устранение пространственного смещения
2. Для объединения временных серий изображений различных спутников предложен метод, сочетающий в себе широко известные алгоритмы интерполяции (билинейная, бикубическая интерполяция).
Проблема объединения серий особенно остро стоит при исследовании глобальных процессов в океане, где крайне важен большой временной ряд наблюдений. Необходимо, чтобы временная серия не имела пропусков, либо количество этих пропусков было сведено к минимуму.
Основной проблемой при разработке такого механизма является проблема пространственного разрешения исходных данных. Как правило, объединяемые
спутниковые изображения имеют различное пространственное разрешение. Возможны два варианта объединения данных:
- с приведением к единому пространственному разрешению;
- без приведения к единому пространственному разрешению.
В первом случае за единое пространственное разрешение выбирается меньшее из имеющихся снимков, требующих объединения. Далее изображения, имеющие разрешение больше выбранного, путем интерполяции приводятся к единому размеру. После такой обработки полученная временная серия может использоваться при дальнейшей работе. Интерполя-
ция изображений происходит по одному из следующих методов:
- метод ближайшего соседа;
- билинейная интерполяция;
- бикубическая интерполяция.
При использовании объединения без приведения к единому разрешению никакой предварительной обработки данных не происходит. Во время проведения расчета вычисляются географические координаты точки, в которой происходит замер параметра. Для каждого типа изображений с различным пространственным разрешением определяются параметры пересчета по заданным географическим координатам. Данный метод не требует значительных вычислительных ресурсов, в отличие от первого метода.
Схема предлагаемого метода объединения спутниковых данных представлена на рис. 4.
где х (п) - входной сигнал; у (п) - выходной сигнал; Ь - коэффициенты фильтра; Р - порядок фильтра.
Схема построения композитов изображений представлена на рис. 5.
Рис. 4. Объединение данных
3. В основу методики создания композитов спутниковых изображений положены алгоритмы нерекурсивного медианного фильтра.
Некоторые архивные данные, такие как температурные данные поверхности океана спутников NOAA, аппаратура AVHRR в период с 1981 по 2000 гг. имеют лишь 8-дневные композиты. При изучении глобальных процессов функционирования мирового океана 8-дневные композиты зачастую не пригодны. Необходим более широкий временной диапазон композитов.
Представлены два случая обработки исходных данных. В первом случае исходные данные представляют собой mapped-данные. Это данные, в которых отсутствуют пропуски (шумы атмосферной составляющей), т. е. информация, прошедшая все виды межотраслевой обработки.
Во втором случае обрабатываются данные с пропусками значений параметра в некоторых пикселях. Для восстановления данных используется нерекурсивный фильтр с конечной импульсной характеристикой:
p
y (n ) = Z bix( n - i)’
Рис. 5. Построение композитов
В результате проделанной работы предложены и разработаны оригинальная технология и методы последовательной предварительной, тематической и постобработки данных спутникового оборудования SeaWiFS, МОБК и КОЛЛ, позволяющие изучать временную и пространственную изменчивость таких гидрологических и биологических характеристик Мирового океана, как температура поверхности и концентрация фитопигментов в поверхностном слое.
Разработаны алгоритмы, реализующие оригинальные методы предварительной обработки данных дистанционного зондирования океанической поверхности, отличающиеся большим количеством настраиваемых параметров анализа данных.
Полученные результаты могут применяться при изучении многолетней изменчивости биооптических характеристик морских вод, регистрировать изменения, происходящие в водных экосистемах под воздействием различных природных и антропогенных факторов. Выявлять аномальные изменения естественной динамики происходящих в океане процессов.
Библиографические ссылки
1. Геоинформационная система мониторинга океана и атмосферы : электрон. журн. [Электронный ресурс] / Е. Л. Подопригора, Т. С. Чистяков,
В. А. Хованец, М. С. Пермяков // Исследовано в России. 2003. С. 1517-1526. ИКЬ: http://zhumal.gpi.ru/ агйс1е8/2003/128.рё£, свободный.
2. Крутков В. А., Полищук Ю. М. Геоинформаци-онное обеспечение мониторинга окружающей среды
i=0
и климата // Оптика атмосферы и океана. 2002. № 1. С. 12-20.
3. Построение автоматизированных систем сбора, хранения, обработки и представления спутниковых данных для решения задач мониторинга окружающей среды / М. В. Андреев, А. А. Галеев, В. Ю. Ефремов и др. // Солнечно-земная физика. 2004. Т. 118. № 5. С. 8-11.
4. Об использовании технологий хранилищ данных для обработки океанологической информации / М. В. Осипенко, С. А. Свиридов, В. А. Соловьев и др. // Современные методы и средства океанологических исследований : материалы VII Междунар. науч.-техн. конф. (2001, г. Москва) / ИО РАН. 2001. С. 36-38.
5. Структура хранилища и формат исследовательских данных по океанологии / А. А. Метальников, М. В. Осипенко, С. А. Свиридов и др. // Современные методы и средства океанологических исследований : материалы VIII Междунар. науч.-техн. конф. (25-27 нояб. 2003, г. Москва) / ИО РАН. 2003. Т. 1. С. 273-293.
6. Data Analysis System Developed for Ocean Color Satellite Sensors / K. Baith, R. Lindsay, G. Fu,
C. R. McClain // Eos, Transactions American Geophysical Union. 2001. Vol. 82. № 18. P. 202.
7. Использование технологий построения автоматизированных систем приема, обработки, архивации и распространения данных для мониторинга состояния морей / М. В. Андреев, В. А. Егоров, О. В. Ильин и др. // Информационные ресурсы об океане: актуальные проблемы формирования, распространения и использования в научных исследованиях и в морской деятельности. ОИР : материалы науч. прикл. конф. (8-10 октября 2002, г. Обнинск) / ВНИИГМИ-МЦД. Обнинск, 2002. С. 146.
8. Соломатов Д. В. Сравнительный анализ программных средств обработки спутниковых данных // Оптика атмосферы и океана. 2007. Т. 20. № 2. С. 171-178.
9. Построение архивов данных метеорологических спутников на основе технологий глобальных сетей Интернет : препринт / М. Ю. Захаров, Е. А. Лупян, А. А. Мазуров и др. М. : ИКИ РАН, 1998.
A. V. Khodyaev, A. P. Shevyrnogov, A. V. Kartushinskiy
THEMATIC PROCESSING SOFTWARE OF SATELLITE DATA FOR OCEAN ECOLOGICAL MONITORING
Original technology of sequential processing of satellite data presented with picture patterns of chlorophyll distribution in the surface layer in the global ocean and sea surface temperature is considered in the article. This technology has been developed at Institute of biophysics, SB RAS. Analysis of challenges for thematic processing software developing is discussed. A brief description of preliminary stage is given. SeaWiFS, MODIS and NOAA picture images were used as input data.
Keywords: ocean color, satellite data processing, global ocean ecological monitoring.
© XogaeB A. B., EeBtipHoroB A. n., KapTymHHCKHH A. B., 2011
УДК 629.735.064
Л. Г. Шаймарданов, О. Г. Бойко
МЕТОД РЕШЕНИЯ ЗАДАЧИ РАСЧЕТА НАДЕЖНОСТИ СЛОЖНЫХ СИСТЕМ ПРИ ПЕРЕМЕННЫХ ПАРАМЕТРАХ ПОТОКОВ ОТКАЗОВ АГРЕГАТОВ
Предложен метод эквивалентной линеаризации переменного параметра потока отказов агрегатов.
Ключевые слова: надежность функциональных систем, интегральная функция вероятности отказа, параметр потока отказов.
В работах [1-3] предложен метод расчета надежности сложных функциональных систем самолетов гражданской авиации при стационарности потока отказов ю. В соответствии с ним вероятность отказа функциональной системы рассчитывается на дискретных отрезках времени [0; /].
Для вероятности отказа агрегатов принято распределение равномерной плотности, при котором интегральная функция распределения записывается в виде
Распределение с равномерной плотностью вероятности соответствует условию стационарности, накладываемому на Пуассоновский поток отказов. Здесь уместно отметить, что на практике потоки отказов функциональных систем более редки, чем агрегатов, а также Пуассоновские.
Приняв t = 1 из выражения (1) можно определить вероятность отказа за 1 час, как этого требуют нормы летной годности самолетов:
q(t) = ю • t.
(1)
q(1) = ю • 1 = raj.
(2)
