CC BY
99
УДК 54.08
ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ СИСТЕМ ПРОГНОЗА ЗАГРЯЗНЕНИЯ ВОЗДУШНОГО БАССЕЙНА
Н.С. Попов, О.В. Кондраков
Кафедра «Химия и промышленная экология», ТГТУ
Представлена членом редколлегии профессором В.И. Коноваловым
Ключевые слова и фразы: искусственная нейронная сеть; корреляционно-спектральный анализ; моделирование загрязнения воздуха.
Аннотация. Рассматривается задача моделирования загрязнения воздушного бассейна на основе искусственной нейронной сети (ИНС). Проведено сравнение двух моделей: на основе ИНС и на основе авторегрессионной модели. Показано, что точность аппроксимации временного ряда выше для модели на основе ИНС.
Для решения задач прогноза загрязнения тропосферы и управления качественным состоянием воздушного бассейна актуальным является построение экспериментальных математических моделей на основе информации, поступающей с автоматизированных систем контроля загрязнения воздуха (АСК ЗВ) в диспетчерский пункт.
В зависимости от постановки задач моделирование окружающей среды использует разнообразные подходы. Выбор подхода часто зависит от временной шкалы решаемой задачи.
Во многих случаях сегодня используют модели в частных производных [1], однако для оперативных задач широко применяют и статистические подходы, основанные на методах авторегрессии, линейной регрессии, линейной множественной регрессии, МГУА [2].
В последние годы все чаще стали использовать искуственные нейронные сети (ИНС). Они находят свое применение в системах распознавания образов, адаптивного управления, прогнозирования, экспертных систем, при аппроксимация функционалов
В связи с этим мы решили применить ИНС для решения задачи диспетчерского управления состоянием воздушного бассейна, связанной с прогнозом значения концентрации примеси.
В данной работе поставлены следующие задачи:
а) применение искусственной нейронной сети для прогноза значений концентрации примесей;
б) сравнение двух методов статистического моделирования на основе авторегрессионной модели и на основе искусственной нейронной сети.
Критерием для сравнения двух методов являлась ошибка прогноза, которая вычислялась по формуле:
[3-7].
2
100% ,
(1)
V
/
где у. - экспериментальное значение концентрации примеси; уЩ - расчетное значение концентрации; N - количество экспериментальных данных.
Также оценивалась трудоемкость применения обоих методов: по времени, затраченном на создание программ расчета т\; по времени выдачи результата готовой
программой Т2 .
Исходные данные, необходимые для моделирования, представляют собой временные ряды концентраций аммиака, зарегистрированные во время эксперимента на одной из контрольно-замерных станций (КЗС) г. Тамбова. Значения концентраций выражались в мг/м3. Одновременно с концентрациями примесей регистрировались: метеопараметры - скорость V (м/с) и направление ветра ф (рад). Временной ряд включал в себя 70 значений. Интервал регистрации данных составлял 20 минут.
Нейронная сеть представляет собой совокупность элементов (нейронов), определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами [1, 2].
Каждый нейрон состоит из элементов 3-х типов: умножителей (синапсов), сумматора и нелинейного преобразователя.
Синапсы осуществляют связь между нейронами, умножают входной сигнал Хг
на число, характеризующее силу связи или вес синапса м?у . Сумматор выполняет
сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора.
Математическая модель нейрона:
где мі - вес синапса, і = 1,...,п ; Ь - значение смещения; 5 - результат суммирования; ж, - компонент входного вектора (входной сигнал); у ^ - выходной сигнал нейрона; п - число входов нейрона; / - нелинейное преобразование именуемое как функция активации.
Смещение - параметр нейрона, который суммируется со взвешенными входами нейрона, образуя выходную величину (аргумент) для функции активации, чтобы усилить нелинейность.
n
Рис. 1 Общий вид нейрона
n
(2)
i =1
yj = f (sJ),
(З)
На входной сигнал нелинейный преобразователь отвечает выходным сигналом, представляющим собой выход нейрона.
В качестве активационной функции применяются многие выражения. Приведем пример некоторых из них:
а) гиперболический тангенс f (5) = ехр(5)—еХр( 5) ;
ехр(5) + ехр(-^)
б) линейная функция /(5) = 5 ;
в) экспоненциальная функция /(5) = е-5 .
Одной из наиболее распространенных и удобных для применения в ИНС является нелинейная функция активации с насыщением, так называемая логистическая функция (сигмоид)
Г (5) = —^~. (4)
1 + е ^
Из выражения сигмоида видно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции - простое выражение для ее производной, применение которой будет рассмотрено в дальнейшем. Сигмоидальная функция дифференцируема на всей оси абсцисс, что очень удобно при использовании ее в алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие и сглаживает большие сигналы. Данную функцию активации мы использовали при работе персептрона.
Рис. 2 Сигмоидальная функция активации
Отметим роль нелинейности функции активации. Если бы функция активации была бы линейной, то результат функционирования ИНС сводился бы только к умножению входного сигнала на весовой коэффициент.
Среди различных структур ИНС одной из наиболее известных является многослойная, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами ИНС. Такие ИНС называются полносвязными.
Для решения своей задачи мы выбрали искусственную полносвязанную нейронную сеть персептрона Розенблатта [2]. Общий вид сети показан на рис. 3. Персеп-трон содержал 3 слоя.
Первый слой нейронной сети - входной - на рис. 3 отмечен черными кружками. В нем содержатся входные переменные. Число скрытых слоев, а также нейронов в них в процессе обучения персептрона менялось. Оптимальным был определен один скрытый слой с количеством нейронов равным 20. При таком количестве слоев и нейронов в них нейронная сеть лучше всего аппроксимирует экспериментальные данные, выда-
ет меньше всего ошибок при адаптивной работе и избегает переобучения. Выходной слой содержал один нейрон.
Экспериментальные данные делили на две части. Одна часть использовалась для обучения, а вторая - для контрольной проверки результата функционирования ИНС.
Обучение ИНС - настройка архитектуры и весов связей для эффективного выполнения поставленной задачи, т.е. поиск закономерности между входными и выходным значениями. Обучить нейронную сеть можно несколькими методами: методом обратного распространения ошибки, методом быстрого распространения, методом упругого распространения, методом масштабируемых сопряженных градиентов.
Мы использовали классический алгоритм настройки персептрона, предложенный Розенблаттом [4]. Его работа сводится к следующему.
Шаг 1. Задание синаптических весов му и смещения Ь случайными числами из диапазона (0, 1).
Шаг 2. Задание персептрону нового входного вектора Xг- = {х^ х^] и выходного сигнала у I.
Шаг 3. Вычисление выходного сигнала персептрона (2), (3) .
Шаг 4. Расчет ошибки 5 (п) для выходного слоя п
Скрытый слой
Рис. 3 Архитектура нейронной сети
(5)
Шаг 5. Расчет изменения весов Лж(п
V
изменения весов Лм}у ' выходного слоя
(6)
Aw(|l-1) = -п • 8("-1) • у(п-2). (8)
у У 1
Шаг 7. Корректировка всех весов в ИНС
wf(t) = wf(t - 1) + Aw(n\t), (9)
где t - номер итерации.
Веса корректируются до тех пор, пока у! и у' . В этом случае цикл завершается и ИНС считается обученной.
Шаг 8. Переход к шагу 2.
По мере обучения сети ошибка обучения убывает, как и ошибка на контрольном множестве. Если контрольная ошибка не убывает, следовательно, ИНС переобучилась (т. е. стала слишком близко аппроксимировать данные). В этом случае рекомендуется уменьшить число нейронов в скрытом слое [4]. Если контрольная ошибка перестала
уменьшаться, но при этом у! и у' , следовательно, ИНС является недостаточно адекватной для решения данной задачи, тогда следует увеличить число нейронов в скры-
том слое.
Рис. 4 Блок- схема работы персептрона
На вход персептрона подавали вектор Xt _ {xу, x2i} _ {C, xt}, где Ct -значение концентрации примеси в i -й момент времени, xt _ Vj ■ cos фi. На выходе персептрона получали значение концентрации в i + 1 -й момент времени ( Q+1).
Экспериментальные данные перед заданием в персептрон были нормализованы по формуле:
2
f > (xi — xmin )
( xmax - xmin)
Выходные данные подвергались обратному преобразованию
(yi norm + 1) * (ymax — ymin)
-1. (10)
Уі _|^^--7 ^max | + ymin . (11)
После обучения сети проверили ее адаптивную работу на контрольной выборке, рассчитав при этом ошибку прогноза.
Регрессионная модель имела следующий вид [10]:
y(k +1) _ agy(0) + al y(k) + a2y(k -1) + aзф(k) + a4v(k) + є^ +1)
(12)
где у(к + 1) - оценка прогноза в (к + 1) -й момент времени; у(к), у (к - 1) -
действительные значения концентраций примесей в моменты времени к и к - 1; ф, V
- значения метеопараметров в г +1 -й момент времени; 8 - ошибка прогноза; у(0) -фиктивная переменная равная 1; аг- - параметры модели (г = 0, 1, ...).
Оценка параметров модели осуществлялась с помощью рекуррентного метода наименьших квадратов:
аі+1 = аі + пР+1Х(Уі - ХІ а),
Р+1 = Р (I - Хі (хТРіХі + 1)-1 ПіХіТРі),
где Пі - функция переключения, имеющая вид:
(13)
(14)
Пі _ 1, если
л
yi - yi
1 + xt Pi-ix
> A,
(15)
л
л
л
л
л
2
в противном случае пг = 0.
л т Л
Здесь у1 = XI аг; I - единичная матрица; А - допустимая погрешность моде-
8 л т
ли; Р(0) = I • 108 - ковариационная матрица начального состояния; ао = [0,0,...,0]т -
вектор оценок параметров модели; хТ (у (к), у (к -1), ф(к), v(k)) - вектор независимых переменных; Т - знак транспонирования.
Процесс "подгонки" параметров модели считался законченным когда п =0. В результате прогнозирования по ИНС и по авторегрессионной модели были получены временные ряды ошибок прогноза. Средняя ошибка прогноза по авторегрессионной модели составила 12 %, а по ИНС - 8 %. С временными рядами ошибок прогноза мы проводили корреляционно- спектральный анализ, который показал следующие результаты.
Величины ошибок прогноза по авторегрессионной модели хорошо коррелируют друг с другом. Все значения лежат в диапазоне 95 % доверительного интервала. У значений ошибок прогноза по ИНС корреляция отсутствует. Вид спектральной плотности ошибок прогноза по ИНС показал, что они образуют "белый шум" и не несут в себе полезную информацию. Вид спектральной плотности ошибок прогноза по авторегрессионной модели свидетельствует о неслучайном характере данного временного ряда. Следовательно, этот временной ряд содержит полезную информацию, которую можно извлечь при построении авторегрессионной модели более сложного вида.
V//////////////////////////A
V////////////////////////A
ШШШШШШк
v/////////////zzm
V///////////////A У///////////Л V///////A \
У////Л /
шш
V//////A
Y////////A
-1,0 -0,5 0,0 0,5 1,0
а)
Спектральный анализ ошибок регрессионной модели
Частота
б)
Рис. 4 Корреляционно-спектральный анализ ошибок прогноза по авторегрессионной модели
Анализ результатов показал, что для оперативного прогноза и управления состоянием воздушного бассейна наряду с регрессионными моделями возможно применение ИНС. Ошибка прогноза по авторегрессионной модели примерно в 1,5 раза превышает ошибку прогноза по ИНС. Корреляционно-спектральный анализ показал, что ИНС хорошо описывает экспериментальные данные, а значит ИНС - полезная альтернатива технике традиционного статистического моделирования.
Время создания программы для ИНС т значительно больше, чем для авторегрессионной модели. Это связано с процессом обучения и построения архитектуры сети. Однако время выдачи результата Т2 готовой программой по ИНС оказалось меньше, чем по авторегрессионной модели.
Использование ИНС требует применения быстродействующих вычислительных машин с оперативной памятью не менее 16 мБ и частотой процессора не менее 120 мГц.
Автокорреляционная функция
7,5e-6
5e-6
2,5e-6
0
а)
Спектральный анализ ошибок персептрона
7,5e-6
5e-6
2,5e-6
0
-2,5e-6
0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 0,50
Частота
б)
Рис. 5 Корреляционно-спектральный анализ ошибок прогноза по ИНС
Список литературы
1. Берлянд М.Е. Прогноз и регулирование загрязнения атмосферы. - Л.: Гидро-метеоиздат, 1985. - 272 с.
2. Попов Н.С., Бодров В.И., Перов В.Л. Основные направления в моделировании загрязнения воздушного бассейна за рубежом / Химическая промышленность за рубежом. 1984. - Вып. 3. - С. 28-45.
3. Уоссермен Ф. Нейрокомпьютерная техника. - М.: Мир, 1992. - 270 с.
4. Круглов В.В, Борисов В.В. Искусственные нейронные сети. - М.: Горячая линия-Телеком, 2001. - 382 с.
5. Матвейкин В.Г., Фролов С.В., Третьяков А.А. Решение задачи регрессии на основе нейронных сетей. - Вестник ТГТУ. 1999. Том 5, №3. - С. 332-343.
6. Gardner M.W., Dorling S.R. Artificial neural networks (the multiplayer perceptron)
- a review of applications in the atmospheric sciences // Atmospheric Environment. Vol.32, №14/15. Ру. 2627-2636, 1998.
7. Gardner M.W., Dorling S.R. Neural network modeling and prediction of hourly NOx and NO2 concentrations in urban air in London // Atmospheric Environment. Vol.33, №5. -rp. 709-719, 1999.
8. Ji Ping Shi, Roy M. Harrison. Regression modeling of hourly NOx and NO2 concentrations in urban air in London // Atmospheric Environment. Vol.31, №24, pp. 4081-4094, 1997.
9. R.L.R. Salcedo, M.S.M. Alvim Ferraz, C.A. Alves, F.G. Martins. Time -seriers analysis of air pollution data // Atmospheric Environment. Vol.33, №, pp. 2361-2372, 1999.
10. Uwe Schlink, Olf Herbarth, Gerd Tetzlaff. A component time - series model for SO2 data: forecasting, interpretation and modification // Atmospheric Environment. Vol.31, №9, pp. 1285-1295, 1997.
11. Попов Н.С., Перов В.И., Бодров В.И., Рыбинский А.Н. Оперативный прогноз загрязнения воздуха на основе авторегрессионных моделей // Проблемы контроля и защита атмосферы от загрязнения. - 1985. - Вып.11. -С. 33- 41.
Application of Artificial Neuron Nets for Forecast Systems of Airspace Pollution N.S. Popov, O.V. Kondrakov
Department of Chemistry and Industrial Ecology, TSTU
Key words and phrases: artificial neuron model; modeling of air pollution; correlation spectrum analysis.
Abstract: The problem of air pond pollution modeling on the basis of artificial neuron net (ANN) is considered. The comparison of two models - on the basis of ANN and autoregression model is carried out. The accuracy of temporal series approximation is higher for the model on the basis of ANN.
Anwendung von kunstlichen Neuronnetzen fur das System der Prognostizierung der Verschmutzung des Luftbeckens
Zusammenfassung: Es ist die Aufgabe der Modellierung der Verschmutzung des Luftbeckens auf Grund des kunstlichen Neuronnetzes (KNN) betrachtet. Es ist die Verglei-chung von zwei Modellen durchgefuhrt: auf Grund des KNNs und auf Grund des autoregres-siven Modells. Es ist gezeigt, dafl die Genauigkeit der Approksimation der zeitlichen Reihe fur das Modell auf Grund des KNNs hoher ist.
Application des reseaux artificiels de neurones pour les systemes de la prevision de la pollution des bassins aeriens
Resume: On examine le probleme du modelage de la pollution du bassin aerien a la base du reseau artificiel de neurones (RAN). On a effectue la comparaison de deux modeles: celui a la base de RAN et celui a la base du modele autoregressif On a montre que la precision de l’approximation de la serie temporelle est plus grande pour le modele a la base de RAN.
