CC BY
95
УДК 681.142.2
КИБЕРФИЗИЧЕСКИЙ МОНИТОРИНГ ПРИРОДНОЙ И ТЕХНОГЕННОЙ ОБСТАНОВКИ
В.Н. Ручкин, Б.В. Костров, А.Н. Колесенков, В.А. Фулин, В.В. Дроздова
Предлагается технология киберфизического мониторинга чрезвычайных ситуаций природного и техногенного характера с использованием физических датчиков, беспилотных средств и облачных вычислений. Разрабатывается информационное, операционное и алгоритмическое обеспечение киберфизической системы на примере лесопожарного мониторинга. Исследуются иерархические интеллектуальные телекоммуникационные структуры компонентов киберфизической системы на основе ней-ропроцессора МВ 7707 за счет специализированной обработки данных наземного, воздушного и дистанционного зондирования Земли в условиях неопределенности с использованием нечетких множеств посредством нейронных сетей.
Ключевые слова: природная и техногенная обстановка, киберфизический мониторинг, физические датчики, принятие решений, кластеры, микропроцессорный модуль МВ 7707, интеллектуальная телекоммуникационная структура.
Предлагаемый киберфизический мониторинг (КФМ) природной и техногенной обстановки (ПТО) [2, 5, 6, 11, 14] осуществляется комплексом средств непосредственных измерений физических параметров от датчиков и различных дистанционных методов выявления надвигающейся опасности по косвенным признакам. При этом для повышения достоверности и правильности принятия управленческих решений целесообразно обработку информации производить с использованием облачных вычислений более мощными аппаратными и программными средствами по специальным алгоритмам.
Целью работы является создание комплекса информационного, операционного и алгоритмического обеспечения КФМ [7 - 10, 12] для снижения риска принятия решений по предупреждению чрезвычайных ситуаций (ЧС) природной и техногенной обстановки за счет специализированной обработки данных наземного, воздушного и дистанционного зондирования Земли в условиях неопределенности с использованием нечетких множеств посредством нейронных сетей [13].
Сказанное объясняется потребностью промышленности во внедренных обработках с малым энергопотреблением в коммуникационной технике и датчиках для мобильных КФМ [17]. При этом современные переносные системы требуют использования дистанционных данных от множественных сложных систем [3, 4, 15, 16]: камер, радаров, лидаров, ультразвуковых устройств и т.д. Высокопроизводительные, энергоэффективные и массово-параллельные процессоры на кристалле (MPSoC) необходимы для реализации сложного взаимодействия датчиков, обработки видео и иных сигналов.
Для решения вышеуказанной цели в работе решаются следующие основные задачи:
- разработка методики и алгоритма выявления признаков нарушения и слежения за динамикой развития ПТО по данным с физических датчиков;
- разработка технологии и алгоритмов слежения и прогнозирования возможных последствий развития ПТО;
- разработка комплексной методики и алгоритмов привязки и идентификации наземной, воздушной информации с аэрокосмическими снимками.
Авторами предлагается следующая структура решения поставленной задачи. Первоначально описывается киберфизический мониторинг. Далее последовательно рассматриваются информационное, алгоритмическое и операционное обеспечения КФМ. Подробно описываются алгоритмы: обнаружения источников ПТО, слежения и прогнозировании, оценки динамики, детектирования по данным от физическим датчиков. Далее приводятся результаты экспериментальных исследований и заключение.
Киберфизический мониторинг. Возможности современных информационных, вычислительных и физических компонентов позволяют создать КФМ, обеспечивающих взаимодействие элементов кибернетического и физического пространств средствами программных и аппаратных ресурсов трех различных уровней. При этом КФМ включают реальные физические устройства и процессы, а также обеспечивают операционный контроль и управление территориально распределенными объектами внешней среды.
Вычислительные элементы, системы и сенсоры обеспечивают мониторинг заданных киберфизических индикаторов и передают данные на следующий уровень системы. Исполнительные элементы на основе полученной информации вносят изменения как во внешнюю среду, так и во внутреннюю снижая риск возникновения ЧС.
В качестве достоинств использования КФМ в задачах анализа природного и техногенного характера следует отметить:
повышение уровня эффективности процессов киберфизического мониторинга ПТО, контроля и управления за счет передачи данных между уровнями системы в реальном времени;
масштабирование с возможностью перехода с любого уровня системы в пространстве в оперативном режиме;
повышение эффективности и надежности управления ресурсами с возможностью оптимизации работы приложений с учетом текущей ситуации.
Как показывает практика, предложенная структура КФМ превосходят современные распределенные системы по производительности, безопасности, надежности и удобству использования. Сказанное указывает на огромный потенциал для решения критически важных техногенных проблем.
Авторами предлагается иерархическая структура блоков КФМ мониторинга ПТО, включающая в себя три подсистемы обеспечения: информационную, операционную и алгоритмическую составляющие, соединенные между собой высокоскоростными радио-каналами Wi-Fi и облачными вычислениями с User Datagram Protocol (UDP).
Информационное обеспечение. В данном случае основу информационного обеспечения составляют: информация от ДЗЗ, информация от мобильных комплексов ДЗЗ и информация от интеллектуальных программных датчиков нейро-кристаллов, а также информация, хранящаяся в базах данных и базах знаний.
Алгоритмическое обеспечение. Алгоритмическое обеспечение включает в себя несколько алгоритмов, необходимых для решения конкретной поставленной задачи.
Алгоритм обнаружения источников ПТО. Постановка задачи заключается в классификации, т. е. разбиении j -ой области изображений
ImJ на кластеры образов, обладающих относительно высокой степенью
близости на основе определенных характеристик Xk(k) [8 - 9]. Причем
изображения, относящиеся к одному классу образов, образуют кластер и обладают относительно высокой степенью близости по рассматриваемым характеристикам.
С целью выделения образов и их кластерного представления используется теоретико-множественную модель на основе анализа понятия отношения эквивалентности и выявления основных свойств:
рефлексивность определяет эквивалентность образа самому себе; симметричность устанавливает соответствие между отдельными произвольными образами и их однозначном соответствии;
транзитивность выявляет образы, подобные первоначальному и произвольно взятому.
Разбиение изображений на кластеры эквивалентности однозначно разделяет все множество изображений Im на классы подобных элементов, что приводит к однозначному принятию решения по выбору образа. Результаты операции разбиения изображений на кластеры эквивалентности формируют продукционную модель экспертной системы распознавания образов.
Алгоритм слежения и прогнозирования динамики ПТО. Алгоритм слежения и прогнозирования динамики ПТО основан на обработке спутниковых снимков лесных пожаров в последовательные моменты времени, позволяет выявить направление распространения действующих пожаров и включает следующие этапы.
1) С применением нечеткой искусственной нейронной сети на спутниковом снимке идентифицируются очаги возгорания.
2) На следующем снимке с помощью алгоритма автоматической корреляции выбираются N эталонных фрагментов заданного размера с максимальным содержанием легко распознаваемых объектов земной поверхности [9].
3) Вычисляем спектр найденных эталонных фрагментов в базисе Виленкина-Кристенсона [10].
4) Находим для каждого эталонного фрагмента отображение на новом спутниковом снимке и, соответственно, точки совмещения текущего и нового изображения.
5) Выполняем привязку нового и текущего спутникового снимка по найденным точкам совмещения.
6) С применением нечеткой искусственной нейронной сети выявляем новые очаги возгорания [11].
7) Если очаги возгорания найдены, то проводится сравнение координаты новых очагов пожаров с предыдущими. В противном случае выполнение алгоритма завершается.
В зависимости от расстояния между координатами, места расположения очагов друг относительно друга, рельефа местности, направления ветра и местоположения водных ресурсов рассчитывается траектории распространения действующих пожаров [9].
С целью решения задачи кластеризации вводится понятие равенства кластеров и CLk очагов пожаров = CLk [8, 9] по длине векторов характеристик и совпадение указанных кластеров с точностью до каждой характеристики
Хк(к) = Хк(1) (1)
Любой произвольный кластер очага пожаров информации,
КБ
удовлетворяющий (3), эквивалентен самому себе, т.е. --—>.
Таким образом, справедливо условие рефлективности любого кластера
1т очага пожара.
Ранее было показано [16], что введенное отношение эквивалентности отвечает требованиям транзитивности, рефлексивности и симметричности. Поэтому справедливо утверждение о том, что отношение кластерной структуры КБм е £ очагов пожара есть отношение эквивалентности.
СЬЬСЬк е 1т® : СЦ > СЬк. (2)
Таким образом, введенное отношение кластерной структуры выявления очагов пожара согласно (3-4) ставит в соответствие некоторой
й области исследуемого пространства изображений 1т® совокупность независимых и неравных кластеров очага пожаров , число которых равно числу классов эквивалентности а кратность q кластера СЬЧ определяется порядком класса эквивалентности (а^:
Г|СЩ =|СЬк| = 1,N
=СЬк=1хкЛ>=хк!®^=1>|сь1Г (3)
Каждый класс эквивалентности имеет своего представителя кластера СЬ^ с размерностью вектора характеристик, равного порядку кластера \CLi\- Выражение (5) является решением задачи кластерного анализа,
которое задает искомое разбиение исследуемой области 1га® пожаров на кластеры очагов пожара.
Алгоритм оценки динамики ПТО. Определение динамики ПТО производится на основе метода второй производной площади ПТО по времени. Основная идея разрабатываемого метода состоит в исследовании графика роста площади ПТО [18 - 21]. По перегибам на этом графике можно судить о состоянии пожара. Алгоритм состоит из следующих этапов.
1) Определение площади пожара.
2) Вычисление второй производной по времени.
3) Отнесение состояния пожара к одному из следующих типов: пожар развивается свободно, пожар тушат, пожар локализован.
Состояние пожара выбирается по второй производной площади пожара по времени. Величины положительны при свободном распространении пожара, становятся отрицательными при тушении пожара и обращаются в нуль при его локализации.
Алгоритм слежения за ПТО. Предложенный алгоритм слежения за ПТО, основанный на периодической обработке спутниковых снимков ПТО, позволяет рассчитать направление движения действующих очагов пожаров и включает следующие этапы.
1. На спутниковом снимке выявляются возможные источники изменения ПТО на основе кластерного анализа.
2. Если выявленные источники найдены, то происходит сравнение координат новых очагов ПТО с предыдущими. Иначе алгоритм завершается.
3. В зависимости от распределения очагов ПТО друг относительно друга, направления ветра, расстояния между координатами, местоположения водных ресурсов и рельефа местности рассчитывается траектории возможного распространения действующих источников ПТО и вероятность этих процессов.
4. Если за определенный промежуток времени не было зафиксировано ни одного очага ПТО или координаты невозможно отнести ни к одному из ранее отмеченных очагов, то считается, что появился новый очаг.
Для непосредственного прогнозирования интегральных характеристик очага ПТО на основе математических моделей предлагается использование искусственных нейронных сетей, на вход которых подаются данные, а на выходе получается прогноз прироста площади пройденной огнём.
Алгоритмы детектирования ПТО. Алгоритмы детектирования ПТО базируются на анализе яркости в отдельных спектральных каналах и базируются на следующих основных процедурах: линейное контрастирование, сегментация, определение характеристик текстуры, привязка координат очагов возгорания. Каждая процедура определяется совокупностью-
вектором характеристик Хк(к). Присутствие очага горения в видимом
спектре определяется по наличию основного - дымового признака лесных пожаров в виде конуса светло-серого цвета.
Линейное контрастирование осуществляется в результате яркостно-го преобразования изображения, полученного от систем ДЗЗ. В результате изменения условий освещенности наблюдаемой сцены такие изображения часто характеризуются малым яркостным диапазоном и являются слабоконтрастными. Операция контрастирования позволяет получить изображения с расширенным яркостным диапазоном, вплоть до максимально возможного [2].
Выделение сегментов или сегментация необходима для определения сегментов изображения, соответствующих дымовым шлейфам мест потенциальных пожаров. Для решения этой задачи применяется метод релаксационной разметки для выделения сегмента на изображении, соответствующего дымовому шлейфу [2]. Стоит задача разделения изображения на несколько классов или кластеров по методике приведенной в [14]: Л = X 2 }, где соответственно метки дымового шлейфа и I -х зон
изображения.
Определение характеристик текстуры основаны на том, что перистая и слоистая облачность по своей структуре и яркости могут тоже напоминать дымовые шлейфы лесных пожаров. Поэтому те части снимков видимого спектра, где предварительно обнаружен лесной пожар, просматриваются на соответствие с текстурой дыма. В качестве основных характеристик текстуры предлагаются следующие параметры изображения дымового шлейфа: математическое ожидание, дисперсия, среднее статистическое отклонение, нормированное значение дисперсии, однородность, энтропия и др. [3]
Привязка координат очагов возгорания связана с выделенными сегментами и уточнением этих координат с помощью линейного дифференту гот ) Э kb (m,n) циального оператора Лапласа [2J: d (m,n) = —-———, где приняты
ЭZ m dnk - Z
следующие обозначения: b(m, n) исходное изображение размерности m = 1,M,n = 1,N с шириной изображения - M и высотой изображения -N. Причем b (m,n) - яркость элемента исходного изображения, d (m,n) -яркость элемента преобразованного изображения, а k и £ - порядок частных производных.
Операционное обеспечение. Для практической реализации предложенных алгоритмов в качестве вычислительного модуля был выбран микрокомпьютерный модуль российского производства MB 7707, работающий в широком диапазоне встраиваемых электронных устройств на базе нейросетевой СБИС К 1879ХБ1Я [6]. Он может использоваться в качестве базового при построении вычислительных систем нового поколения, т.к. основой функционирования является моделирование методов обработки информации, аналогичных работе головного мозга и нервной системы человека. Предложенные в работе алгоритмы смоделированы и реализованы в виде программных продуктов в виде облачной вычислительной среды и могут быть странслированы на модуль или телекоммуникационную структуру на базе ELBRUS, суперкомпьютеров «Ломоносов» (МГУ им. МВ. Ломоносова) и «Лобачевский» (Нижегородский университет имени Н.И. Лобачевского).
Экспериментальные исследования. Для решения сформулированных выше задач и реализации предложенных алгоритмов необходимо выбрать оптимальную аппаратную базу [6]. Заданным требованиям максимально удовлетворяют системы на основе искусственных нейронных сетей, которые также являются интеллектуальными, т. е. способными к обучению и самообучению. Естественные условия окружающей среды являются нестабильными, применение интеллектуальности при обработке данных позволяет значительно улучшить эффективность телекоммуникационных систем, функционирующих в реальном времени.
Поэтому в настоящее время проводится экспериментальная апробация взаимодействия модулей МВ 7707 составляющих КФМ с компьютером на базе МП ELBRUS и суперкомпьютером «Ломоносов».
Заключение. Создание комплекса информационного, операционного и алгоритмического обеспечения КФМ (СРМ) позволяет снизить риски принятия решений по предупреждению ЧС ПТО по данным аэрокосмического, наземного и физического мониторинга, расчета их динамики и построения прогнозируемых контуров. Адаптация разработанных алгоритмов
базе программного комплекса «НейроКС» к программному обеспечению серийно-выпускаемого модуля МВ 7707 позволит усовершенствовать и автоматизировать процесс сбора и обработки первичных данных КФМ.
Список литературы
1. Teodora Sanislav, George Mois, Silviu Folea, Liviu Miclea, Giulio Gambardella, Paolo Prinetto. "A Cloud-based Cyber-Physical System for Environmental Monitoring", Proceedings of the 3nd Mediterranean Conference on Embedded Computing MECO. 2014. Montenegro, Budva. P. 6-9.
2. Воробьев Ю.Л. Лесные пожары на территории России: Состояние и проблемы // Ю.Л. Воробьев, В. А. Акимов, Ю.И. Соколов; под общ. ред. Ю.Л. Воробьева; МЧС России. М.: ДЭКС-ПРЕСС, 2004. 312 с.
3. Злобин В.К., Еремеев В.В., Кузнецов А.Е. Обработка изображений в геоинформационных системах: учеб. пособие. Рязан. гос. радиотехн. ун-т. Рязань, 2008. 264 с.
4. Гонсалес Р., Вуд Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
5. Доррер Г. А. Динамика лесных пожаров. Новосибирск: Изд-во СО РАН, 2008. 404 с..
6. A.A. Khanin, R. Chebotarev "Principles of optical approach in detection of forest fires", In Algorithm of Safety, №1, 2011. P. 103-110.
7. Злобин В.К., Ручкин В.Н. Нейросети и нейрокомпьютеры. СПб.: БХВ — Петербург, 2011. 256 с.
8. V.N. Ruchkin, B.V. Kostrov, A.A. Kolesenkov "Emergencies monitoring and preventing", In Proceedings of the 2nd Mediterranean Conference on Embedded Computing MECO, 2013, Montenegro, Budva. P. 89-93.
9. V.N. Ruchkin, B.V. Kostrov, A.N. Kolesenkov E.V. Ruchkina, "Anthropogenic Situation Express Monitoring on the Base of Fuzzy Neural Networks". Proceedings of the 3nd Mediterranean Conference on Embedded Computing MECO. 2014. Montenegro, Budva. P. 166-169.
10. Романчук В. А., Ручкин В.Н. Разработка программных средств анализа нейропроцессорных систем // Вестник Рязанского государственного радиотехнического университета, 2010. №32. С. 61-67.
11. L. Merino, F.Caballero, J.R. Martinez-de-Dios, J. Ferruz, A. Ollero "A cooperative perception system for multiple UAVs: Application to automatic detection of forest fires", In Journal of Field Robotics 2006, 23 (3-4). P. 165-184.
12. K.A. Kalpoma, J.I. Kudoh "A new algorithm for forest fire detection method with statistical analysis using NOAA AVHRR images", In International Journal of Remote Sensing 2006, 27 (18). P. 3867-3880.
216
13. R.J. Hall, J.T. Freeburn, W.J.de Groot, J.M. Pritchard, T.J. Lynham, R. Landry "Remote sensing of burn severity: experience from western Canada boreal fires", In International Journal of Wildland Fire 2008, 17 (4). P. 476-489.
14. V.N. Ruchkin, B.V. Kostrov, A.N. Kolesenkov, E.V. Ruchkina "Algorithms of Fire seat Detection, Modeling Their Dynamics and Observation of Forest Fires via Communication Technologies", In Proceedings of the 4th Mediterranean Conference on Embedded Computing MECO. 2015. Montenegro, Budva. P. 254-257.
15. Колесенков А.Н., Костров Б.В. Метод прореживания базисных функций в корреляционно-экстремальных алгоритмах совмещения изображений // Вопросы радиоэлектроники. Сер. общетехническая. Вып. 1, 2010. С. 176 - 183.
16. Колесенков А.Н., Костров Б.В., Ручкин В.Н. Методика интеллектуального обнаружения, моделирования и сопровождения пожаров // Известия ТулГУ. Технические науки. Тула: Изд-во ТулГУ, 2015. Вып. 5. Ч. 2. С. 266-274.
17. Колесенков А.Н., Таганов А.И. Разработка геоинформационной системы аэрокосмического мониторинга чрезвычайных ситуаций на опасных объектах // Космодром «Восточный» и перспективы развития российской космонавтики»: тезисы докладов Всероссийской молодёжной научно-практической конференции. Самара: СГАУ, 2015. С. 189-190.
18. Ahmed S.H., Gwanghyeon Kim, Dongkyun Kim Cyber Physical System: Architecture, applications and research challenges. Wireless Days, 2013 IFIP Conference: 1315 Nov. 2013. P. 1 - 5.
19. Hoang, Dat Dac, Hye-Young Paik, and Chae-Kyu Kim Serviceo-riented middleware architectures for cyber-physical systems // International Journal of Computer Science and Network Security. 2012. P. 79-87.
20. Wu, Fang-Jing, Yu-Fen Kao, and Yu-Chee Tseng From wireless sensor networks towards cyber physical systems // Pervasive and Mobile Computing. 2011. P. 397-413.
21. Современные технологии обработки данных дистанционного зондирования Земли: под ред. В.В. Еремеева М.: ФИЗМАТЛИТ, 2015, 460 с.
Ручкин Владимир Николаевич, д-р техн. наук, проф., v.ruchkinarsu.edu.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Костров Борис Васильевич, д-р техн. наук, проф., kostrov. [email protected], Россия, Рязань, Рязанский государственный радиотехнический университет,
Колесенков Александр Николаевич, канд. техн. наук, доц., sk62@,mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Фулин Владимир Андреевич, старший преподаватель, [email protected], Россия, Рязань, Рязанский государственный радиотехнический университет,
Дроздова Виктория Викторовна, магистрант, v. ruchkin@rsu. edu. ru, Россия, Рязанский государственный радиотехнический университет
KIBERFIZICHESKY ENVIRONMENTAL MONITORING AND TECHNOLOGICAL SITUATION
B. V. Kostrov, V.N. Ruchkin, A.N. Kolesenkov, V.A. Fulin, V. V. Drozdova
The technology kiberfizicheskogo emergency monitoring of natural and man-made disasters with the use of physical sensors, unmanned aerial vehicles, and cloud computing. Develop information, operational and algorithmic support kiberfizicheskoy system on the example of forest fire monitoring. We study the hierarchical structure of intelligent telecommunications components kiberfizicheskoy systems based on neural MB 7707 due to specialized processing of land, air and remote sensing of the Earth in the face of uncertainty, using fuzzy sets by means of neural networks.
Key words: natural and man-made environment, kiberfizichesky monitoring, physical sensors, decision-making, clusters, microprocessor module MW 7707, the intelligent telecommunications infrastructure.
Kostrov Boris Vasilevich, doctor of technical science, professor, kostrov. b. v@evm. rsreu. ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Ruchkin Vladimir Nikolaevich, doctor of technical science, professor, v. ruchkin@rsu. edu. ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Kolesenkov Aleksandr Nikolaevich, candidate of technical science, docent, sk62@,mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Fulin Vladimir Andreevich, docent, v.fulin@,365.rsu.edu.ru, Ryazan, Ryazan State University,
Drozdova Viktoria Viktorovna, magistr, v. ruchkin@rsu. edu. ru, Russia, Ryazan, Ryazan State Radio Engineering University
