Исследование архитектур нейронных сетей для определения концентраций газов по спектрам Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья

УДК 004.8

DOI 10.25205/1818-7900-2024-22-2-68-78

Исследование архитектур нейронных сетей для определения концентраций газов по спектрам

Александр Евгеньевич Щелоков1 Константин Иванович Будников2

Новосибирский государственный университет

Институт автоматики и электрометрии СО РАН Новосибирск, Россия

1azarюn123@gmaiLcom [email protected]

Аннотация

Исследованы нейронные сети разных архитектур с целью определения концентраций газов по спектрам, полученным с помощью оптического эмиссионного газоанализатора, который измеряет спектр электромагнитного излучения, испускаемого газами при возбуждении электрическим разрядом. Нейронная сеть обучается на данных из лаборатории по оптической спектроскопии и способна предсказывать концентрации газов по спектрам с высокой скоростью. Исследования касались архитектур глубокой нейронной сети со сверточными и рекуррентными слоями. Сверточные слои выделяют особенности спектров, а рекуррентные слои учитывают последовательную структуру данных. Качество работы нейронной сети оценивали по коэффициенту детерминации R2, а сравнение между сетями проводили по показателю КМБЕ между предсказанными и реальными концентрациями газов.

Ключевые слова

спектральный анализ, нейронные сети, глубокое обучение

Для цитирования

Щелоков А. Е., Будников К. И. Исследование архитектур нейронных сетей для определения концентраций газов по спектрам // Вестник НГУ. Серия: Информационные технологии. 2024. Т. 22, №№ 2. С. 68-78. DOI 10.25205/18187900-2024-22-2-68-78

© Щелоков А. Е., Будников К. И., 2024

Study of Neural Network Architectures for Determining Gas Concentrations by Spectra

Alexander E. Shchelokov1, Konstantin I. Budnikov2

Novosibirsk State University

Institute of Automation and Electrometry SB RAS Novosibirsk, Russian Federation

'[email protected] [email protected]

Abstract

A study of a number of neural networks of different architectures for determining gas concentrations from spectra obtained using an optical emission gas analyzer, which measures the spectrum of electromagnetic radiation emitted by gases when excited by an electric discharge, is presented. The neural network is trained on data from the optical spec-troscopy laboratory and is able to predict gas concentrations from spectra at high speed. The research concerned the deep neural network architectures with convolutional and recurrent layers. Convolutional layers highlight the features of the spectra, while recurrent layers take into account the consistent structure of the data. The quality of the neural network is evaluated by the R2 coefficient of determination, and the comparison between networks by the RMSE indicator between the predicted and real gas concentrations.

Keywords

spectral analysis, neural networks, deep learning For citation

Shchelokov A. E., Budnikov K. I. Study of neural network architectures for determining gas concentrations by spectra. Vestnik NSU. Series: Information Technologies, 2024, vol. 22, no. 2, pp. 68-78 (in Russ.) DOI 10.25205/1818-79002024-22-1-68-78

Введение

Определение концентраций компонентов газовой смеси по их спектральным характеристикам представляет собой важную задачу, имеющую широкий спектр практического применения, включая мониторинг загрязнения атмосферы, анализ химических процессов, диагностику состояния плазмы и многие другие области. Одним из ключевых методов, используемых для измерения концентраций газов, является оптическая спектроскопия, основанная на измерении спектра электромагнитного излучения, испускаемого газами при их возбуждении электрическим разрядом. Каждый газ обладает уникальным спектром поглощения и излучения, который определяется его химическим составом и физическими условиями. Анализ спектра позволяет определить, какие газы и в каких количествах присутствуют в смеси.

В зависимости от химического состава спектры компонентов газовой смеси могут быть искажены или перекрыты спектрами других составляющих смесь газов, что значительно осложняет их определение. Кроме того, спектры могут изменяться в зависимости от параметров измерительного прибора, таких как длина волны, интенсивность, разрешение и т. д. В связи с этим необходимы эффективные алгоритмы обработки и анализа спектров, которые могут учитывать эти факторы и обеспечивать точные и быстрые результаты.

В настоящее время в качестве одного из наиболее перспективных подходов к решению этой задачи выделяются нейронные сети. Они способны обучаться на основе предъявленных им образцов и впоследствии выявлять сложные зависимости между входными и выходными данными.

Анализ смесей газов с целью установления их качественного и количественного состава в настоящее время широко применяется и при поиске природных залежей нефти. Основными компонентами попутной газовой смеси являются элементы гомологического ряда алканов: метан, этан, пропан, бутан и пентан с преобладающим содержанием метана [1]. Контроль их

содержания происходит при помощи газоанализаторов. На данный момент наиболее распространены следующие их виды:

• электрохимические, определяющие массовую концентрацию газа в смеси по показателям электрической проводимости электролита, который поглотил этот газ;

• оптико-эмиссионные, основанные на том, что атомы каждого химического элемента могут испускать свет определенных длин волн - спектральные линии, причем эти длины волн разные для разных элементов.

Результат работы электрохимических газоанализаторов легко обработать и интерпретировать, но при этом такой газоанализатор обладает невысокой точностью и избирательностью.

Необходимо получить точный и быстрый результат, что можно достичь с помощью оптического эмиссионного газоанализатора, который позволяет получать динамику изменения газовой смеси в виде набора спектров. Но анализ такого набора классическими методами очень сложен. Поэтому необходим алгоритм, способный упростить и ускорить работу со спектрами.

Цель настоящей работы - исследовать архитектуры нейронных сетей, чтобы определить концентрации газов по их спектрам, полученным с помощью оптического эмиссионного газоанализатора на буровой установке. Обучение нейронной сети происходит на эталонных данных, полученных в лаборатории оптической спектроскопии. Впоследствии она делает предсказания концентраций газов по спектрам входных данных.

Обзор существующих решений

Изучение спектров методами машинного обучения, в том числе при помощи нейронных сетей, в настоящее время получило широкое распространение. Так, в [2] используется метод опорных векторов для классификации трех видов чая по их спектрам. Лучшие результаты точности идентификации были до 90, 99 и 93,33 % соответственно при обучении, а при тестировании - 90, 99 и 95 %.

В работе [3] также исследовали спектры сортов чая. В ходе экспериментов было получено, что сочетание методов спектрометрии и нейронных сетей позволяет эффективно и быстро классифицировать виды чаев.

В исследовании [4] был разработан и применен метод на основе спектроскопии, индуцированной лазерным пробоем и нейронных сетей для идентификации, контроля качества, отсле-живаемости и обнаружения подделки оливковых масел с высоким качеством.

Сверточные нейронные сети также показали высокую эффективность при определении калия в почве [5]. Авторы использовали метод, называемый временно разрешенной лазерной спектроскопией индуцированного пробоя (LIBS), в сочетании со сверточными нейронными сетями (CNN). Они обнаружили, что традиционный метод LIBS имеет сложности с точным определением количества калия из-за влияния окружающей среды. Однако когда они применили CNN к данным, полученным с помощью LIBS, они смогли значительно улучшить точность обнаружения калия.

В нефтегазовой отрасли нейронные сети также получили широкое распространение [6]. Поскольку большинство традиционных источников нефти и газа уже обнаружены и добываются в течение многих лет, то разведка, бурение, добыча и управление месторождениями нефти и газа в настоящее время представляют сложную задачу. Поэтому нефтяники используют передовые методы, такие как искусственные нейронные сети для поддержки принятия решений о сокращении непроизводительных финансовых и временных затрат. Так, нейронные сети применяются для обработки данных при сейсморазведке [7; 8], бурении скважин [9], прогнозе добычи газа [10] и нефти [11].

Исследуемые модели нейронных сетей

Проведенные исследования касались архитектур глубокой нейронной сети [12; 13] с одномерными сверточными, рекуррентными и линейными слоями. Исследуемые модели нейронных сетей выбирались из следующих соображений. Предназначение сверточных слоев - выделить особенности исследуемых спектров, а рекуррентные слои должны учитывать последовательную временную структуру данных. Финальным звеном каждой архитектуры выступал полносвязный слой, который формировал результат работы модели (рис. 1).

Рис. 1. Архитектура исследуемых моделей нейронных сетей Fig. 1. Architecture of the studied neural network models

Последовательность слоев можно описать следующим образом.

1. Входной слой. На него подаются данные спектров.

2. Одномерные сверточные слои. Варьировалось количество слоев (от 1 до 3) и размер сверточного ядра (от 1 до 9).

3. Подвыборочные слои. Связаны со сверточными слоями.

4. Рекуррентные слои. Варьировалось количество слоев (от 1 до 3).

5. Выходной полносвязный слой.

Для оценки качества прогнозов нейронной сети использован коэффициент детерминации Я2,

R2 = 1 —

I (y - TT)2

I (Л - У)2

I=1

а сравнение между сетями по показателю корня из среднеквадратичной ошибки RMSE между предсказанными и реальными концентрациями газов:

RMSE =

1 N —

N*!(y -T )2

i=1

В качестве функции потерь применялся показатель среднеквадратичной ошибки MSE:

где N - количество элементов в выборке, у - реальное значение, а у7 - предсказанное моделью.

Для исследований были построены модели нейронных сетей с использованием различного количества LSTM, сверточных, линейных слоев и слоев пулинга и их комбинаций с одним из вариантов построения пространства признаков. В процессе исследования решались 2 задачи:

1) определение концентраций всех газов одновременно;

2) определение концентрации каждого газа в отдельности.

Тактика исследования заключалась в первоначальном исследовании архитектур для первой задачи, выявлении лидера и решении второй задачи.

В качестве набора данных использованы показания оптико-эмиссионных спектрометров, полученных с буровой станции. Показания снимались с периодичностью в 1 минуту. Один блок спектральных данных представляет собой 2048 вещественных чисел, которые записаны в виде текстового файла.

Весь набор представляет собой спектры, полученные в определенные моменты времени, и информацию о концентрации 7 газов - метана, этана, пропана, изобутана, бутана, изопента-на, пентана. Для обучения и анализа в качестве одного объекта был представлен набор спектров между двумя последовательными 7-й и 7 + 1 минутами (признаки) и набор концентраций за 7 + 1 минуту в качестве результата.

Для построения пространства признаков были подготовлены 4 трансформации данных:

• использовать все спектры за исследуемый промежуток времени;

• использовать последние п спектров, (п - натуральное, 0 < п < число спектров);

• использовать спектры с некоторым шагом;

• один спектр на некоторый промежуток времени (выбранный случайным образом).

В процессе определения эффективности трансформаций входных данных наиболее эффективной оказалась подвыборка, которая использует выборку блока спектральных данных с определенным шагом.

После экспериментов с различными комбинациями сверточных, подвыборочных и рекуррентных слоев и их параметров выявилась десятка лидеров, таблица с метриками RMSE которых представлена в табл. 1. Меньшее значение соответствует лучшему показанию.

В результате сравнения выделены 2 варианта архитектуры с номерами 2 и 10. Для них определены показатели коэффициента дискриминации Я2, которые показывают качество прогноза каждой из моделей. Они приведены в табл. 2. Наилучшие показатели имеет модель с номером 10. Она хорошо прогнозирует концентрацию всех газов, за исключением метана.

Экспериментальное исследование моделей нейронных сетей

Модель с рекуррентными слоями для одновременного определения всех газов

Таблица 1

Метрика RMSE для моделей на основе LSTM и сверточных слоев

Table 1

RMSE metric for LSTM-based models and convolutional layers

Газы/ модель lstm_ modell lstm_ model2 lstm_ model3 lstm_ model5 lstm_ model7 lstm_ model8 lstm_ model9 lstm_ model10

Метан 0,006 0,00047 0,00027 0,00026 0,00030 0,00030 0,00032 0,001

Этан 0,032 0,034 0,035 0,039 0,032 0,039 0,039 0,024

Пропан 0,152 0,150 0,150 0,190 0,107 0,190 0,190 0,108

Изобутан 0,109 0,097 0,114 0,141 0,107 0,141 0,141 0,066

Бутан 0,341 0,282 0,359 0,209 0,199 0,878 0,411 0,173

Изопентан 0,076 0,060 0,086 0,090 0,042 0,090 0,090 0,045

Пентан 0,027 0,021 0,029 0,031 0,015 0,031 0,031 0,015

Таблица 2

Метрика R2 для моделей на основе LSTM и сверточных слоев

Table 2

R2 metric for LSTM-based models and convolutional layers

Газы/модель lstm model10 lstm_model_2

Метан -3,461 -1,4

Этан 0,586 0,158

Пропан 0,629 0,292

Изобутан 0,71 0,391

Бутан 0,769 0,387

Изопентан 0,691 0,455

Пентан 0,695 0,421

Графики с аппроксимацией концентраций пентана моделью для lstm_model_2 и Мт_ model10 представлены на рис. 2 и 3 соответственно. Красным цветом показаны данные, полученные моделью, а зеленым - реальные данные.

Рис. 2. График аппроксимации пентана моделью lstm_model2 Fig. 2. Graph of pentane approximation lstm_model2 model

Пен! ян

» ааяашшми

Amt«»

Рис. 3. График аппроксимации пентана моделью lstm_model10 Fig. 3. Graph of the pentane approximation model lstm_model10

Модель с рекуррентными слоями для определения отдельного газа

Для определения концентрации каждого газа по отдельности была создана модель c использованием сверточных, линейных и LSTM-слоев на основе модели 10. Изменению подвергся выход модели, полносвязный слой. В предыдущем исследовании он имел 7 выходов (по 1 на каждый газ), а в данном исследовании оставлен только 1 выход. В итоге обучалось 7 независимых моделей, каждая на свой газ.

Ниже представлены таблицы со значениями RMSE (табл. 3) и R2 (табл. 4) для всех 7 моделей. Результат получился хуже, чем при применении модели на основе LSTM и сверточных слоев для всех газов сразу, в силу взаимного влияния спектров газов на их концентрации.

Таблица 3

Метрика RMSE для модели с LSTM и сверткой для отдельного газа

Table 3

RMSE metric for a model with LSTM and convolution for a single gas

Газы/модель 7 сетей

Метан 0,00030

Этан 0,031

Пропан 0,149

Изобутан 0,110

Бутан 0,327

Изопентан 0,074

Пентан 0,028

Метрика R2 для модели с LSTM и сверткой для отдельного газа R2 metric for a model with LSTM and convolution for a single gas

Газы/модель 7 сетей

Метан 0,0375829334

Этан 0,2887644838

Пропан 0,2893148676

Изобутан 0,2056482239

Бутан 0,1737171388

Изопентан 0,1692956415

Пентан -0,0266482254

Регрессионные модели на основе одномерных сверток

С целью облегчения модели для выделения признаков из одного спектра, без учета серии и, следовательно, без рекуррентных слоев LSTM, была построена архитектура, в которой использовались только одномерные сверточные и полносвязные слои.

Ниже показаны результаты метрик RMSE (табл. 5) и R2 (табл. 6) после обучения 2 лучших моделей архитектуры cmlp_2 и cmlp_3.

Таблица 5

Метрика RMSE для модели без LSTM на основе одномерных сверток

Table 5

RMSE metric for a non-LSTM model based on one-dimensional convolutions

Газы/модель cmlp 2 cmlp 3

Метан 0,00080189 0,00100474

Этан 0,03460961 0,03651403

Пропан 0,16876938 0,1771527

Изобутан 0,09626544 0,10771695

Бутан 0,22776742 0,29589342

Изопентан 0,04309401 0,06060036

Пентан 0,01213099 0,02126244

Таблица 6

Метрика R2 для модели без LSTM на основе одномерных сверток

Table 6

R2 metric for a non-LSTM model based on one-dimensional convolutions

Газы/модель cmlp 2 cmlp_3

Метан -4,21725655 -7,19075073

Этан 0,32370003 0,24722458

Пропан 0,30557955 0,23487787

Изобутан 0,50529742 0,38059954

Бутан 0,66708366 0,43814724

Изопентан 0,7841424 0,57314152

Пентан 0,83986919 0,50806441

Таблица 4 Table 4

Из табл. 6 видно, что результаты сетей данного вида уступают сетям с рекуррентными слоями.

Заключение

Использование сверточных слоев является ключевым компонентом в исследованных моделях. Это видно из приведенных результатов. Однако без учета временной последовательности результаты получаются существенно хуже. Также следует отметить тот факт, что из массива данных спектров газов, полученных при групповом анализе, не удается построить модель для определения концентрации газа в отдельности.

Представленное исследование архитектур нейронных сетей, построенных на основе свер-точных, рекуррентных и полносвязных слоев, для определения концентраций газов по спектрам, полученным с помощью оптического эмиссионного газоанализатора, показало применимость данного метода для быстрого определения концентраций газов. Нейронная сеть обучается на данных, полученных из лаборатории по оптической спектроскопии, и способна предсказывать концентрации газов по спектрам с высокой скоростью. Качество работы нейронной сети оценивается по коэффициенту детерминации R2, который доходил до 77 %, а сравнение между сетями проводится по показателю RMSE между предсказанными и реальными концентрациями газов. Дальнейшее совершенствование методики требует использования спектров газов в отдельности.

Впоследствии планируется провести эксперименты по извлечению признаков из чистых газов с дальнейшим применением их к газовым смесям для повышения качества.

Список литературы

1. Чумаков B. M. Определение выбросов одоранта на узле одоризации газораспределительных станций // Газовая промышленность. Сер.: Подготовка, переработка и использование газа. Экспресс-информация. М.: ВНИИЭгазпром, 1987. С. 15-16.

2. Chen Q. et al. Feasibility study on identification of green, black and Oolong teas using near-infrared reflectance spectroscopy based on support vector machine (SVM) // Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy. 2007. Т. 66, № 3. С. 568-574.

3. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. Т. 382.

4. Caceres J. O. et al. Application of laser-induced breakdown spectroscopy (LIBS) and neural networks to olive oils analysis // Applied spectroscopy. 2013. Т. 67, № 9. С. 1064-1072.

5. Chengxu L. U. et al. Detection of K in soil using time-resolved laser-induced breakdown spectroscopy based on convolutional neural networks // Plasma Science and Technology. 2018. Т. 21, № 3. С. 034014.

6. Husam Alkinani, Abo Taleb Tuama et. al. Applications of Artificial Neural Networks in the Petroleum Industry: A Review // Proc.SPE Middle East Oil and Gas Show and Conference, March 2019. DOI: 10.2118/195072-MS

7. Karrenbach M., Essenreiter R., Treitel S. Multiple Attenuation With Attribute-based NeuralNetworks // Society of Exploration Geophysicists. January 2000. DOI: 10.1190/1.1815827

8. Aminzadeh F., Maity D., Tafti T. A., Brouwer, F. Artificial Neural Network Based Autopicker ForMicro-earthquake Data // Society of Exploration Geophysicist. Jan. 2011. DOI: 10.1190/1.3627514

9. Dashevskiy D., Dubinsky V., Macpherson J. D. Application of Neural Networks for Predictive Control in Drilling Dynamics // Society of Petroleum Engineers. Jan. 1999. DOI:10.2118/56442-MS

10. Ghahfarokhi P. K., Carr T., Bhattacharya S., Elliott J., Shahkarami A., Martin K. A Fiber-OpticAssisted Multilayer Perceptron Reservoir Production Modeling: A Machine Learning Approach in Prediction of GasProduction // Proc. Unconventional Resources Technology Conference, August 9, 2018. DOI: 10.15530/urtec-2018-2902641

11. Gholamreza Moradi, Majid Mohadesi, Mohammad Reza Moradi. Prediction of wax disappearance temperature usingartificial neural networks// Journal of Petroleum Science and Engineering. 2013. Vol. 108. P. 74-81. http://dx.doi.org/10.1016/j.petrol.2013.06.003

12. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Т. 521, № 7553. С. 436-444.

13. Аггаравал Ч. Нейронные сети и глубокое обучение: учебный курс. СПб.: Диалектика, 2020. 752 с.

References

1. Chumakov B. M. Determination of odorant emissions at the odorization node of gas distribution stations. Gas Industry. Ser.: Preparation, processing and use of gas. Express information. Moscow, VNIIEgazprom publ., 1987, pp. 15-16. (in Russ.)

2. Chen Q. et al. Feasibility study on identification of green, black and Oolong teas using near-infrared reflectance spectroscopy based on support vector machine (SVM). Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2007, vol. 66, no. 3, pp. 568-574.

3. Kruglov V. V., Borisov V. V. Artificial neural networks. Theory and practice. Moscow, Hotlinetelecom, 2001, vol. 382. (in Russ.)

4. Caceres J. O. et al. Application of laser-induced breakdown spectroscopy (LIBS) and neural networks to olive oils analysis. Applied spectroscopy, 2013, vol. 67, no. 9, pp. 1064-1072.

5. Chengxu L. U. et al. Detection of K in soil using time-resolved laser-induced breakdown spectroscopy based on convolutional neural networks. Plasma Science and Technology, 2018, vol. 21, no. 3, p. 034014.

6. Husam Alkinani, Abo Taleb Tuama et. al. Applications of Artificial Neural Networks in the Petroleum Industry: A Review. Proc. SPEMiddle East Oil and Gas Show and Conference, March 2019, DOI: 10.2118/195072-MS

7. Karrenbach M., Essenreiter R., & Treitel S. Multiple Attenuation With Attribute-based Neu-ralNetworks. Society of Exploration Geophysicists, January 2000, DOI: 10.1190/1.1815827

8. Aminzadeh F., Maity D., Tafti T. A., & Brouwer F. Artificial Neural Network Based Au-topicker ForMicro-earthquake Data. Society of Exploration Geophysicist, January 2011, DOI: 10.1190/1.3627514

9. Dashevskiy D., Dubinsky V., & Macpherson J. D. Application of Neural Networks for Predictive Control in Drilling Dynamics. Society of Petroleum Engineers, January 1999. DOI:10.2118/56442-MS

10. Ghahfarokhi P. K., Carr T., Bhattacharya S., Elliott J., Shahkarami A., & Martin K. A Fi-

ber-OpticAssisted Multilayer Perceptron Reservoir Production Modeling: A Machine Learning Approach in Prediction of GasProduction. Proc. Unconventional Resources Technology Conference, August 9, 2018, DOI: 10.15530/urtec-2018-2902641

11. Gholamreza Moradi, Majid Mohadesi, Mohammad Reza Moradi Prediction of wax disappearance temperature usingartificial neural networks. Journal of Petroleum Science and Engineering, 2013, vol. 108, pp. 74-81, http://dx.doi.org/10.1016/j.petrol.2013.06.003

12. Lecun Y., Bengio Y., Hinton G. Deep learning. Nature, 2015, vol. 521, no. 7553, pp. 436-444. (in Russ.)

13. Aggarwal Ch. Neural networks and deep learning: a training course. Dialectics LLC, St. Petersburg, 2020, 752 p.

Сведения об авторах

Щелоков Александр Евгеньевич, магистрант кафедры компьютерных технологий факультета информационных технологий НГУ, инженер-программист Института автоматики и электрометрии СО РАН

Будников Константин Иванович, кандидат технических наук, доцент кафедры компьютерных технологий факультета информационных технологий НГУ, старший научный сотрудник, заведующий тематической группы Института автоматики и электрометрии СО РАН

Information about the Authors

Alexander E. Shchelokov, Master's Degree Student, Department of Computer Technologies, Faculty of Information Technology, Novosibirsk State University, Software Engineer, Institute of Automation and Electrometry SB RAS (Novosibirsk, Russian Federation)

Konstantin I. Budnikov, PhD in Computer Science, Associate Professor, Department of Computer Technologies, Faculty of Information Technologies, Novosibirsk State University, Senior Researcher, Head of the Thematic Group, Institute of Automation and Electrometry SB RAS (Novosibirsk, Russian Federation)

Статья поступила в редакцию 25.05.2024; одобрена после рецензирования 10.06.2024; принята к публикации 10.06.2024

The article was submitted 25.05.2024; approved after reviewing 10.06.2024; accepted for publication 10.06.2024