CC BY
82
12. Zav'yalova, N.E. The impact of mineral fertilizers and lime on the transformation of humic acids in a soddy-podzolic heavy loamy soil of the Cis-Ural region / N.E. Zav'yalova // Eurasian Soil Science. - 2015. - Vol. 48. - No. 6. P. 627-633.
13. Mechanisms of soil acidification reducing bacterial diversity / X. Zhang, W. Liu, G. Zhang, L. Jiang, X. Han // Soil Biology and Biochemistry. - 2015 - Vol. 81. - P. 275-281.
14. Soil acid cations induced reduction in soil respiration under nitrogen enrichment and soil acidification / Y. Li, J. Sun, D. Tian, J. Wang, D. Ha, Y. Qu, G. Jing, S. Niu // Science of the Total Environment. - 2018. - Vol. 615. - P. 1535-1546.
E-mail: [email protected]
УДК 004.82; 004.832.23
СИСТЕМНЫЙ АНАЛИЗ И ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ УРОЖАЙНОСТИ НА ОСНОВЕ АВТОКОРРЕЛЯЦИОННЫХ ФУНКЦИЙ И НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ
SYSTEM ANALYSIS AND FORECASTING OF TIME SERIES OF CROP PRODUCTION BASED ON AUTOCORELLATION FUNCTIONS AND NEURAL NETWORK TECHNOLOGIES
А.Ф. Рогачев1'2, доктор технических наук, профессор
1 2
A.F. Rogachev1'2
1Волгоградский государственный аграрный университет 2Волгоградский государственный технический университет
1 Volgograd State Agrarian University 2Volgograd State Technical University
Особенности аграрного производства требуют совершенствования методов адекватного учета их особенностей, реализация которых возможна на основе системного анализа массивов многолетних природно-климатологических статистических данных, связанных с урожайностью сельскохозяйственных культур. Рассмотрены вопросы выбора конфигураций и обучения искусственных нейронных сетей (ИНС) для прогнозирования урожайности на примере зерновых культур на основе системного анализа. Проведенный с применением автокорреляционных функций и частных автокорреляционных функций (ЧАКФ) анализ позволил выявить внутренние закономерности анализируемых ВР и обосновать алгоритмы их предобработки. Проведено сравнение вариантов предварительного преобразования исходных временных рядов (ВР) урожайности, подаваемых на вход ИНС, а также обоснование их структуры с учетом количества слоев. Применение автоматизированно генерируемых совокупностей нейронных систем обеспечивает эффективное решение задачи прогнозирования урожайности зерновых культур на основе системного анализа массивов климатологических и организационно-экономических данных. На основе полученных оптимальных вариантов конфигурации нейросетей разрабатывается программный комплекс, обеспечивающий учет автокорреляционных характеристик при обучении ИНС для прогнозирования урожайности.
The peculiarities of agrarian production require the improvement of methods for adequately taking into account their specific features, the realization of which is possible on the basis of a systematic analysis of arrays of long-term natural climatological statistics related to crop yields. The problems of the choice of configurations and the training of artificial neural networks (ANN) for forecasting yields on the example of grain crops are considered. The analysis with the use of autocorrelation functions and private autocorrelation functions (PACF) made it possible to reveal the internal regularities of the BPs analyzed and to justify the algorithms for their pre-processing. Comparison of the variants of preliminary transformation of the initial time series (TS) of yields applied to the input of the INS, as well as the justification of their structure, taking into account the number of layers, are compared. The application of automatically generated sets of neural systems provides an effective solution to the problem of forecasting
the yield of grain crops, based on a systematic analysis of the arrays of climatological and organizational-economic data. On the basis of the obtained optimal variants of the configuration of the neural networks, a software package is developed to ensure that autocorrelation characteristics are taken into account when training the ANN for forecasting yields.
Ключевые слова: прогнозирование урожайности, системный анализ, математическое моделирование, автокорреляционные функции, искусственные нейронные сети (ИНС), предобработка, обучение ИНС.
Key words: yield forecasting, mathematical modeling, autocorrelation functions, artificial neural networks (ANN), preprocessing, ANN training.
Введение. Проблема математического моделирования урожайности сельскохозяйственных культур в условиях влияния различных природных, климатических, биологических, а также организационно-технологических факторов, оказывающих разнонаправленное влияние на прогнозирование, обусловлена значительной погрешностью, достигающей 17...20 % [1, 6, 10, 11].
Применение классических подходов математического моделирования, базирующихся на системах регрессионных эконометрических уравнений, адаптивных моделях экспоненциального сглаживания, а также алгоритмах нелинейного сглаживания [5, 7], также не обеспечивает требуемой надежности результатов в условиях сухостепных зон Нижнего Поволжья. В связи с этими сложностями необходимы адаптация и совершенствование математических моделей на основе системного анализа и искусственных нейросетевых структур различной архитектуры, используемых в четкой либо нечеткой постановке [8].
Математическое моделирование на основе искусственных нейронных сетей (ИНС), по мнению ряда отечественных и зарубежных исследователей (А. Гагарин, И. Егорова, А. Ильченко, Ю.Качановский, Е. Коротков, О. Солдатова, П. Терелянский, Э. Тихонов, О. Черний и др.), позволяет решать такие трудно формализуемые задачи, как техническое зрение и распознавание образов, многофакторная классификация, диагностика технического состояния, прогнозирование динамики временных рядов (ВР), характерные для моделирования, в том числе урожайности сельскохозяйственных культур [1, 9, 10, 12, 15].
Материалы и методы. В качестве информационного источника для моделирования использовались многолетние данные Федеральной службы государственной статистики по Волгоградской области (Волгоградстат). Предварительный анализ исследуемых ВР урожайности сельскохозяйственных культур по Волгоградской области на примере зерновых (рисунок 1) выполнен в среде STATISTICA v.10 с использованием встроенных модулей, реализующих процедуры описательной статистики. Оценивались статистические характеристики ВР урожайности с использованием процедур описательной статистики.
Сложность структуры ИНС требует использования программной оболочки, в качестве которого можно применять модули математической среды MathLab, DEDUCTOR различных версий, а также специализированные ПС NeuroSolutions, NeuralWorks Professional, NeuroShell 2, ряд авторских разработок [4, 6, 10]. Для выбора ПС была разработана многофакторная электронная таблица с весами альтернативных показателей, интегрирующая экспертные оценки специалистов. По функциональным возможностям и удобству интерфейса из упомянутых ПС можно рекомендовать среду STATISTICA v.10 с модулем SNN v. 4.0.
Plot of variable: Кукуруза на зерно x+0,000
45 40 35 30
0
1 25
I 20
£ 15 10 5 0
:..............................................I.......л ................................................. гг..........;
Ш
1/
-5 0 5 10 15 20 25 30 35 40 45 50 55 60 65 Case Numbers
Рисунок 1 - Типичный ВР уровней урожайности «Кукуруза на зерно»
Возможность моделирования ВР с использованием искусственных нейронных сетей базируется на известной теореме Колмогорова, согласно которой определенная на «-мерном единичном кубе непрерывная функция У произвольного вида может быть представлена в виде суммы (2n+1) суперпозиций отображений единичных отрезков:
2 n+1 n
/(х1,..., xn ) = X bq (X^pq (XP )) > X = (xt......Xj,0 <X; < 1. (1)
q=1 p=1
Численная характеристика каждого из отображающих нейронов ИНС в каждый момент определяется зависимостью:
и, = 2 А',})*0) + А*',0), (2)
У=1
где X(у), ] = 1,2...N - входные сигналы, а(,,у) - веса синоптических связей, а(,,0) -пороговые значения.
Получаемый нейроном входной сигнал преобразуется согласно передаточной функции активации в выходной
У =/(и). (3)
Следовательно, любая нейросетевая модель в общем случае обеспечивает нелинейное преобразование и-мерного входного вектора (хг,...., хп) в выходной сигнал у
Возможность обучения нейронной сети основывается на модификации параметров передаточных функций с использованием наборов данных для требуемого отображения входного вектора. В процессе обучения нейронной сети рассчитывают величину функционала некоторого Ф, определяющего качество обучения нейросети на каждом шаге обучения [1 ]:
1 Q S-
ф=11I vr)2 ,
2
(4)
д=1 Р=1
где Q - совокупная выборка; М - количество слоев ИНС; д - номер выборки; ^ - количество
вектор целевых значений
нейронов выходного слоя ИНС; ^4 - вектор входов ИНС; ^ для выборки с номером д на выходе ИНС.
qopt
0
-5
5
Алгоритм применения семейства сгенерированных в автоматизированном режиме структур ИНС для прогнозирования ВР урожайности, различающихся по числу и виду промежуточных слоев, включает предпрогнозный анализ ВР, обоснование структуры сетей, автоматизированную генерацию ансамбля ИНС, их обучение на специальных выборках, а также оценку погрешности и качества прогноза на тестовых выборках. После этого возможно проведение непосредственно прогнозирования для различных условий и глубины временных горизонтов.
Результаты и обсуждение. Для многолетних ВР урожайности зерновых рассчитанная величина % Пирсона составила 51,6 (рисунок 3), что превышает величину 9,48, определенную на уровне значимости а = 0,05.
Для анализа использовалось уточнённое (по Лилиефорсу) значение А', позволяющее элиминировать завышаемый уровень согласия по показателю Колмогорова-Смирнова, в случае выборочных дисперсии и средней
А' = 1,16 А2 + 1,36А
(5)
Выявленные в результате анализа статистические закономерности многолетних ВР урожайности (рисунок 2) характеризуются мультимодальностью и наличием «жирных» хвостов.
12 14,1 16,2 18,3 20,4 22,5 24.6 Вариант
=1Г —■—1п Рп • ¥
а) б)
Рисунок 2 - Эмпирические распределения многолетних уровней урожайностей:
а) зерновые в целом; б) кукуруза
Накопите; ь F Fn АВЗ^^п Ап А т- (1Т-1п')л2/1п
5,7 11 0,1746 0,116504 0,058099 3,798533
7,8 6 0,2698 0,21247 0,057371 6,045819 17 3,798533 45,88054
9,9 4 0,3333 0,343431 0,010097 8,250541 4 6,045819 0,692276
12 10 0,4921 0,496667 0,004603 9,653881 10 17,90442 3,489634
14,1 9 0,6349 0,650403 0,015482 9,685361 9 9,685361 0,048498
16,2 7 0,7460 0,782649 0,036617 8,331517 7 8,331517 0,212799
18,3 6 0,8413 0,880189 0,03892 6,14504 6 6,14504 0,003423
20,4 8 0,9683 0,941874 0,02638 3,886097 10 6,97275 1,314294
22,5 1 0,9841 0,97532 0,008807 2,107097
24,6 1 1,0000 0,990868 0,009132 0,979556
сумма 63 Дтах 0,058099 63 %Л2= 51,64146
Л = 0,422965 Табл. хЛ2= 9,48
Рисунок 3 - Статистическая оценка закономерностей распределения ВР
урожайности зерновых 312
Следовательно, эмпирическое распределение ВР урожайности для зерновых культур в целом по статистическим критериям отличается от нормального, что обусловливает применение методов нелинейной динамики для адекватного моделирования.
Для обоснования архитектуры построения ИНС моделирования ВР урожайности в условиях Волгоградской области с целью повышения качества прогноза был проведен автокорреляционный анализ многолетних уровней различных сельскохозяйственных культур.
Оценки коэффициентов автокорреляции ВР вычислялись по отобранным выборкам согласно зависимостям (6), (7).
п
Ё(У - у3 )■(У-2 - У4 )
Г2 =
г=3
Уз
(6)
Ё(Уг - Уз )2 ■Х (У*-2 - У4)2
г=з
Ё У*
г=3
п - 2
г=3
У4
-2
Ё У*
г=3
п-2
(7)
Исследование автокорреляционных функций (АКФ) урожайности «зерновые в целом» и «кукуруза на зерно» позволил выявить их выраженную цикличность. Пики на графиках АКФ наблюдаются при 2-х, 3-х, 4-х и 12-летнем значениям временных лагов (рисунки 4, 5).
Рисунок 4 - Корреллограммы ВР урожайности в условиях Волгоградской области: а) зерновые в целом; б) кукуруза на зерно
Следовательно, в рамках системного подхода при нейросетевом анализе и прогнозировании необходимо учитывать циклические свойства ВР урожайности сельскохозяйственных культур.
Рисунок 5 - Графическое представление ЧАКФ ВР «кукуруза на зерно»
В качестве базовой конфигурации для отладки процедуры генерации семейства альтернативных ИНС принимался персептрон трехслойной структуры [10], реализация и верификация проводились в среде v4.0 (рисунок 6).
Рисунок 6 - Интерфейс ИНС для прогнозирования ВР урожайности
Анализ качества полученных нейросетевых моделей ВР урожайности зерновых по характеристикам остатков подтверждает возможность их использования, поскольку на уровне значимости а = 0,05 они являются гомоскедастичными, некоррелированными и нормально распределенными.
Заключение. Для создания интеллектуальной информационной технологии прогнозирования урожайности на основе ИНС, генерируемых в автоматизированном режиме, необходимы предпрогнозные исследования и анализ статистических характеристик ВР исследуемых сельскохозяйственных культур для обоснования структуры генерируемых ИНС и выполнения ее «обучения» с обеспечением приемлемого уровня погрешности ниже 15 %. Разработка программного комплекса для автоматизации процедуры формирования (генерации), обучения и применения ИНС, обеспечивающих прогнозирование межгодовой изменчивости урожайности и учитывающих особенности сельскохозяйственных культур в засушливых условиях, также требуется обоснование алгоритма предобработки данных, передаваемых в ИНС.
Библиографический список
1. Гагарин, А.Г. Прогнозирование урожайности зерновых на основе нейросетевых технологий: оценка влияния некоторых способов предобработки входных данных [Текст]/
A.Г. Гагарин, И.Е. Егорова // Актуальные направления научных исследований в АПК: от теории к практике: материалы Национальной научно-практической конференции, Волгоград, 10 ноября 2017 г. - Волгоград: ФГБОУ ВО Волгоградский ГАУ, 2017. - Ч. 2. - С. 162-168.
2. Гагарин А.Г. Прогнозирование урожайности на основе анализа кросс-региональных данных [Текст]/ А.Г. Гагарин, А.Ф. Рогачев // Известия Нижневолжского агроуниверситетского комплекса: Наука и высшее профессиональное образование. - 2012. - № 4. - С. 339-346.
3. Гузик, В.Ф. Реализация методик системного анализа при моделировании сложных объектов [Текст]/ В.Ф. Гузик, А.В. Дагаев, А.В. Тарасенко // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 163-167.
4. Геловани, В.А. Системное моделирование сценариев динамики региональных экономических процессов на основе технологии интеллектуального анализа данных [Текст]/ В.А. Геловани,
B.Б. Бритков, А.В. Булычев // Параллельные вычисления и задачи управления PACO'2012: труды шестой Международной коференции: в 3 томах. - М.: Институт проблем управления им. В.А. Трапезникова РАН, 2012. - С. 206-215.
5. Использование системного анализа для определения свойств, связей и метода моделирования технических систем [Текст]/ В.В. Овчинников, С.П. Чумак, Е.А. Вдовиченко, А.В. Якутов // Технологии гражданской безопасности. - 2012. - Т. 9. - № 3 (33). - С. 58-65.
6. Качановский, Ю.П. Предобработка данных для обучения нейронной сети [Текст]/ Ю.П. Качановский, Е.А. Коротков // Фундаментальные исследования. - 2011. - № 12 -1. - С. 117-120; Режим доступа: https://fondamental-research.ru/m/article/view?id=28860 (дата обращения: 05.11.2017).
7. Мелихова, Е.В. Математическое моделирование и программная реализация уровня продуктивности сельскохозяйственных земель методом нечеткого вывода [Текст]/ Е.В. Мелихова // Современные проблемы науки и образования. - 2015. - № 2-2. - С. 2-8.
8. Рогачев, А.Ф. Оценка прогнозного уровня урожайности на основе нейросетевых моделей динамики [Текст]/ А.Ф. Рогачев, М.Г. Шубнов // Известия Нижневолжского агроуниверситетского комплекса: наука и высшее профессиональное образование. - 2012. - № 4. - С. 226-231.
9. Рогачев, А.Ф. Построение нейросетевых моделей прогнозирования временных рядов урожайности на основе автокорреляционных функций [Текст]/ А.Ф. Рогачев, М.Г. Шубнов // Современные проблемы науки и образования. - 2013. - № 5. - С. 450-457.
10. Черний, О. Нейронные сети на Javascript [Электронный ресурс] / О. Черний. - 2016. - Режим доступа: https://habrahabr.ru/post/304414/ (дата обращения: 25.10.2017).
11. Papa Parse - Powerful CSV Parser for JavaScript [Электронный ресурс]. Режим доступа: http://papaparse.com (дата обращения: 25.10.2017).
12. Rogachev, A.F. Economic and Mathematical Modeling of Food Security Level in View of Import Substitution // Asian Social Science - 2015. - Vol. 11, No. 20/ - P. 178-185.
13. Rogachev, A.F. Manufacturing and Consumption of Agricultural Products as a Tool of Food Security Management in Russia / Rogachev, A.F., Shokhnekh, A.V., Mazaeva, T.I. // REVISTA GALEGA DE ECONOMÍA (RGE) - Vol. 25-2. July-December 2016.
14. Simple feed-forward neural network in JavaScript [Электронный ресурс]. 2014. Дата обновления: 20.10.2017. - Режим доступа: https://github.com/BrainJS/brain.js (дата обращения: 25.10.2017).
Reference
1. Gagarin, A. G. Prognozirovanie urozhajnosti zernovyh na osnove nejrosetevyh tehnologij: ocenka vliyaniya nekotoryh sposobov predobrabotki vhodnyh dannyh [Tekst]/ A. G. Gagarin, I. E. Egorova // Aktual'nye napravleniya nauchnyh issledovanij v APK: ot teorii k praktike: materialy Nacional'noj nauchno-prakticheskoj konferencii, Volgograd, 10 noyabrya 2017 g. - Volgograd: FGBOU VO Volgogradskij GAU, 2017. - Ch. 2. - P. 162-168.
2. Gagarin A. G. Prognozirovanie urozhajnosti na osnove analiza kross-regional'nyh dannyh [Tekst]/ A. G. Gagarin, A. F. Rogachev // Izvestiya Nizhnevolzhskogo agrouniversitetskogo kompleksa: Nauka i vysshee professional'noe obrazovanie. - 2012. - № 4. - P. 339-346.
3. Guzik, V. F. Realizaciya metodik sistemnogo analiza pri modelirovanii slozhnyh ob'ektov [Tekst]/ V. F. Guzik, A. V. Dagaev, A. V. Tarasenko // Izvestiya YuFU. Tehnicheskie nauki. - 2008. -№ 4 (81). - P. 163-167.
4. Gelovani, V. A. Sistemnoe modelirovanie scenariev dinamiki regional'nyh ]konomi-cheskih processov na osnove tehnologii intellektual'nogo analiza dannyh [Tekst]/ V. A. Gelovani, V. B. Britkov, A. V. Bulychev // Parallel'nye vychisleniya i zadachi upravleniya PACO'2012: trudy shestoj Mezhdunarodnoj koferencii: v 3 tomah. - M.: Institut problem upravleniya im. V. A. Trapeznikova RAN, 2012. - Р. 206-215.
5. Ispol'zovanie sistemnogo analiza dlya opredeleniya svojstv, svyazej i metoda modelirovaniya tehnicheskih sistem [Tekst]/ V. V. Ovchinnikov, S. P. Chumak, E. A. Vdovichenko, A. V. Yakutov // Tehnologii grazhdanskoj bezopasnosti. - 2012. - T. 9. - № 3 (33). - P. 58-65.
6. Kachanovskij, Yu.P. Predobrabotka dannyh dlya obucheniya nejronnoj seti [Tekst]/ Yu.P. Kachanovskij, E.A. Korotkov // Fundamental'nye issledovaniya. - 2011. - № 12 -1. - P. 117-120; Rezhim dostupa: https://fundamental-research.ru/ru/article/view?id=28860 (data obrascheniya: 05.11.2017).
7. Melihova, E.V. Matematicheskoe modelirovanie i programmnaya realizaciya urovnya produktivnosti sel'skohozyajstvennyh zemel' metodom nechetkogo vyvoda [Tekst]/ E.V. Melihova // Sovremennye problemy nauki i obrazovaniya. - 2015. - № 2-2. - P. 2-8.
8. Rogachev, A. F. Ocenka prognoznogo urovnya urozhajnosti na osnove nejrosetevyh modelej dinamiki [Tekst]/ A. F. Rogachev, M. G. Shubnov // Izvestiya Nizhnevolzhskogo agrouniversitetskogo kompleksa: nauka i vysshee professional'noe obrazovanie. - 2012. - № 4. - P. 226-231.
9. Rogachev, A. F. Postroenie nejrosetevyh modelej prognozirovaniya vremennyh ryadov urozhajnosti na osnove avtokorrelyacionnyh funkcij [Tekst]/ A. F. Rogachev, M. G. Shubnov // Sovremennye problemy nauki i obrazovaniya. - 2013. - № 5. - P. 450-457.
10. Chernij O. Nejronnye seti na Javascript [Jelektronnyj resurs] / O. Chernij. - 2016. -Rezhim dostupa: https://habrahabr.ru/post/304414/ (data obrascheniya: 25.10.2017).
11. Papa Parse - Powerful CSV Parser for JavaScript [Jelektronnyj resurs]. Режим доступа: http://papaparse.com (дата обращения: 25.10.2017).
12. Rogachev, A.F. Economic and Mathematical Modeling of Food Security Level in View of Import Substitution // Asian Social Science - 2015. - Vol. 11, No. 20/ - P. 178-185.
13. Rogachev, A.F. Manufacturing and Consumption of Agricultural Products as a Tool of Food Security Management in Russia / Rogachev, A.F., Shokhnekh, A.V., Mazaeva, T.I. // REVISTA GALEGA DE ECONOMÍA (RGE) - Vol. 25-2. July-December 2016.
14. Simple feed-forward neural network in JavaScript [Электронный ресурс]. 2014. Дата обновления: 20.10.2017. - Режим доступа: https://github.com/BrainJS/brain.js (дата обращения: 25.10.2017).
E-mail: [email protected]
