CC BY
43
УДК 519.68
В.В. Бухтояров, В.А. Глушков
О КОЛЛЕКТИВНЫХ ИНТЕЛЛЕКТУАЛЬНЫХ МЕТОДАХ РЕШЕНИЯ ЗАДАЧИ МОДЕЛИРОВАНИЯ СОСТОЯНИЯ ТЕХНОЛОГИЧЕСКОГО ОБОРУДОВАНИЯ ДЛЯ ПРЕДУПРЕЖДЕНИЯ ИНЦИДЕНТОВ БЕЗОПАСНОСТИ
В статье предлагается новый подход для моделирования состояния гидротурбины по ее вибрационным характеристикам, основанный на использовании коллективов нейронных сетей. Такой метод моделирования может быть реализован в истемах автоматизированного управления для предупреждения инцидентов безопасности, связанных с выходом технологического оборудования из строя и их разрушением. В статья описаны основные шаги проектирования коллективов нейронных сетей и приведено описание некоторых методов для их реализации. Обсуждаются особенности применения коллективного нейросетевого подхода для решения задач моделирования и моделирования. Приведены условия и результаты статистических исследований предлагаемого подхода на нескольких задачх, включая задачу моделирования параметров гидротурбин. Обсуждаются возможные направления развития предлагаемого подхода.
Ключевые слова: моделирование, эволюционные алгоритмы, генетическое программирование, коллективные интеллектуальные методы, алгоритм GASEN, GA-based1, GA-based2.
V. Bukhtoyarov, V. Glushkov
ABOUT COLLECTIVE INTELLECTUAL METHODS OF THE SOLUTION OF THE PROBLEM OF MODELLING CONDITION OF PROCESSING EQUIPMENT FOR THE PREVENTION OF INCIDENTS OF SAFETY
In this paper we propose a new approach to forecasting parameters of hydroturbine based on the usage of neural networks ensembles. This approach can be implemented in complex automatic control system to prevent dangerous incidents which better meets the challenges of the present time. In the paper the basic steps of the neural networks ensembles designing are described and some of the methods to complete these steps are expounded. Peculiarities of using neural networks ensembles to solve modeling and forecasting problems are discussed. Conditions and results of experimental investigation of the proposed approach on a number of modeling problems are presented, including the problem of forecasting parameters of hydroturbine. Possible development of the proposed approach and areas for future research are discussed in the end.
Keywords: modeling, evolutionary algorithms, genetic programming, collective intellectual methods, algorithm GASEN, GA-based1, GA-based2.
Введение
Решение задач моделирования и прогнозирования с помощью коллективов нейронных сетей - это подход, в основе которого лежит одновременное использование для решения задачи конечного числа предварительно обученных нейронных сетей. Этот подход впервые был предложен в работе [5], в которой было показано, что способность к обобщению системы на основе нейронных сетей может быть значительно повышена за счет их объединения в коллектив. С тех пор подход был значительно развит и успешно применен в различных сферах [7,9,10]. Благодаря тому, что нейронные сети и составленные из них коллективы способны аппроксимировать неизвестное отображение входного пространства в выходное, они могут быть использованы для решения задач идентификации - построения математических моделей объектов, процессов или систем. Пусть имеется отображение заданное отношением
у = /(х), с11)
где X - вектор входных переменных, у - вектор выходных переменных.
Считается, что функция / (•) не известна. Имеется множество N примеров
(х,, у ), I = 1, N. (12)
Необходимо найти функцию Р(•) , отображающую вход X в выход у, которая была бы достаточно близка к функции / (•) в смысле Евклидовой нормы на множестве входных векторов X :
||Р(•) — /(х)|| < Б для всех векторов X , (13)
где Б - некоторое малое положительное число. В терминах искусственных нейронных сетей необходимо спроектировать нейронную сеть, для которой функция Р(•), описывающая
преобразование входного сигнала в выходной сигнал в этой сети удовлетворяла бы условию (1.3). Таким образом задача построения математической модели, в контексте данной статьи, состоит в установлении связи между входными и выходными переменными системы или процесса в виде некоторых математических соотношений. В этом случае, множество маркированных примеров можно использовать для обучения и проектирования коллектива нейронных сетей, представляющего модель этого процесса или системы.
В работе предлагается метод, существенно отличающийся от современных методов формирования решений при использовании коллективов нейронных сетей. В основе метода лежит использование отдельных операторов гибридного генетического программирования [4,8] для автоматического получения формулы (программы), которая используется для расчета общего решения коллектива нейронных сетей на основе частных решений сетей, составляющих коллектив. В отличие от методов, использующих усреднение или голосование, данный метод позволяет формировать коллективное решение как нелинейную комбинацию решений отдельных членов коллектива нейронных сетей, используя различные арифметически, математические и логические операции. Предлагаемый подход был использован для моделирования парметров технологического объекта по его вибрационным характеристикам. Разработка высокоточных моделей для решения этой задачи в перспективе позволит создать интеллектуальные системы диагностики и предупреждения инцидентов безопасности для технологического оборудования подобного типа, например гидротурбин.
1. Основные идеи эволюционного метода формирования общего решения в коллективах нейронных сетей
Комплексный подход к решению задачи с помощью коллектива нейронных сетей включает в себя два этапа. Для использования в системах анализа данных желательно, чтобы оба эти этапа были автоматизированы. Первый этап предполагает формирование структуры и обучение нейронных сетей, которые будут включены в коллектив или предварительный пул.
Второй важнейший этап включает в себя отбор тех сетей, с помощью решений которых будет сформировано итоговое решение, а так же определение способа и параметров формирования общего решения. Для повышения эффективности выполнения этого этапа был разработан метод, позволяющий автоматически выбирать из сформированного предварительно пула те нейронные сети, которые будут участвовать в принятии коллективного решения, и формировать это коллективное решение в виде различных преобразований и комбинаций (линейных и нелинейных) решений отдельных участников коллектива нейронных сетей. Предполагается, что, используя коллектив нейронных сетей, возможно найти более эффективное решение задачи с помощью формирования более сложных комбинаций решений отдельных нейронных сетей, чем простое или взвешенное усреднение и равноправное или неравноправное голосование.
Предлагаемый метод основан на методе гибридного генетического программирования [4,8], который используется для решения задач символьной регрессии, и относится к группе технологий, называемых эволюционными алгоритмами. Общая схема предлагаемого метода представлена в
[4].
Решения кодируются в виде деревьев, внешние вершины которого формируются из элементов терминального множества, а внутренние - из элементов функционального множества. В качестве элементов функционального множества могут быть использованы арифметические операции, математические функции, булевы операции.
Общее коллективное решение, сформированное с помощью предлагаемого метода, представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:
о = /(ol, о2,...,оп ). (1)
Здесь о - общее решение, oi - индивидуальное решение i -й сети, п - число сетей в коллективе.
2. Исследование эффективности
Для исследования эффективности предлагаемого метода формирования решения коллектива нейронных сетей был проведен ряд численных экспериментов на наборе тестовых задач. Педварительно эволюционными алгоритмами независимо формировалось множество нейронных сетей произвольной архитектуры и настраивались их весовые коэффициенты. Далее сформированое множество нейросетей использовалось для сравнения предлагаемого метода со следующими методами, часто используемыми для формирования коллективов нейронных сетей: GASEN, GA-based1 и GA-based2. Кратко методы описаны в [1]. В [10] показано, что метод GASEN превосходит по эффективности большинство других методов конструирования общего решения в коллективах нейронных сетей, поэтому выбор его, а так же двух подобных методов для сравнительного исследования, позволит судить об эффективности предлагаемого метода в сравнении с большинством других методов, оставленных за рамками проведенного исследования.
Примеры задач, использовавшихся в сравнительных исследованиях, приведены в [4]. Данные задачи были использованы для тестирования методов в виду того, что задачи такого типа наиболее часто используются для исследования эффекивности коллективных нейросетевых подходов моделирования. В качестве главного критерия эффективности использовались оценка математического ожидания ошибки моделирования, рассчитанная по данным, полученным в ходе 50 независимых запусков алгоритмов. Для рассчета ощибки моделирования в одном запуске использовалась следующая формула:
100% |
Error = ^-> o, - y,
с ID max „""Р1 1
SV - y ) i= (2)
Здесь i — номер записи в выборке, Oi - значение выходной переменной, рассчитанное с
_ max min
помощью модели, y - значение выходной переменной в выборке, y и y - максимальное
и минимальное значение выходной переменной, S - число элементов в выборке
Результаты сравнительного исследования рассматриваемых методов приведены в таблице 1. Для всех методов, с целью получения корректных результатов численных экспериментов, использовалось одинаковое ограничение на количество вычислительных ресурсов, доступных методу для полуения решения. Для исследования статистической значимости различий в эффективности используемых подходов были использованы методы ANOVA. Было проведено попарное сравнение исследуемых методов для выявления статистической значимости в различимости получаемых в ходе тестирования результатов при уровне значимости а = 0,05 .
Ячейки, номер столбца для которых соответствует методу, показавшему статистически значимо лучшие (в соответсвии с результатами дисперсионного анализа полученной выборки экспериментальных данных) результаты на тестовой функции, номер которой соответствует номеру строки, выделены в таблице 2 серым.
Наглядно демонстрируют результаты сравнения коллективных подходов между собой и подходом, в котором используется одна нейронная сеть, диаграммы, приведенные на рисунке 1.
Таблица 1
Результаты сравнительного исследования на тестовых задачах
Задача Оценка математического ожидания ошибки моделирования, %
Одна сеть Метод проектирования коллективов
GASEN GA-based1 GA-based2 Предлагаемый подход
1 1,880 1,444 1,335 1,302 0,855
2 4,355 3,479 3,486 3,482 3,037
3 2,537 1,679 1,651 1,639 1,389
4 7,146 6,192 6,147 6,100 5,036
5 2,852 1,917 1,833 1,747 1,368
6 6,473 4,916 4,745 4,528 4,568
7 6,754 6,095 6,083 6,152 5,218
8 4,480 3,821 3,824 3,818 2,845
9 4,204 3,168 3,305 3,124 2,272
10 4,304 3,163 3,157 3,121 2,979
На графиках высота столбцов соответствует критерию эффективности для каждого из коллективных подходов (ошибке моделирования) нормированному относительно ошибки моделирования, полученной с помощью одиночной нейронной сети, сформированной вероятностным эволюционным методом [2]. Очевидно, что меньшая высота столбца соответствует меньшему значению оценки математического ожидания ошибки моделирования и, следовательно, говорит о более высокой точности модели, спроектированной соответствующим методом.
Рис. 1. Графическое отображение результатов исследования на некоторых тестовых
функциях.
При сравнении следует учитывать, что общее число ресурсов, затраченных на проектирование одной нейронной сети и целого коллектива нейронных сетей при проведении исследований совпадало. Результаты исследований демонстрируют, что предлагаемый метод формирования общего решения оказывается эффективнее чем другие исследуемые подходы на 8 из 10 использованных тестовых задачах. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы при заданном уровне значимости. В целом в среднем на тестовых функция предлагаемый подход оказывается на 20% эффективнее других коллективных подходов. На всех тестовых задачах эффективность подходов GASEN, GA-based1 и GA-based2 статистически не различима при использованном уровне значимости.
Решение задачи моделирования параметров гидротурбины по вибрационным характеристикам с помощью коллектива нейронных сетей
Разработанный эволюционный подход к формированию общего решения в коллективах нейросетевых технологий был апробирован на нескольких практических задачах, в том числе, задаче моделирования состояния гидротурбины по снимаем вибрационным характеристикам. Набор данных включает 1286 наблюдений, каждое из которых описывается 11 входными и 5 выходными параметрами. Выходные параметры повзоляют комплексно оценить состояние исследуемого объекта (гидротурбины), однако в режиме реального функционирования мониторинг части из них невозможен, а часть измерений чрезвычайна дорога. Поэтому создание моделей, описывающих связь входных и выходных параметров, позволяющих моделировать выходные параметры по 11 контролируемым в режиме реального времени входам является актуальной задачей. Очевидно, что при использовании адекватных моделей фиксация моментов
выхода моделируемых значений выходных параметров за критические величины позволит предупредить развития нештатных ситуаций и предупредить появление инцидентов безопасности.
В качестве критерия, позволяющего оценить качество построенной регрессионной модели, была использована ошибка моделирования, рассчитываемая по формуле (2).
Для каждого выходного параметра строилась отдельная коллективная нейросетевая модель. Так как для решения задачи необходимо было создать коллектив нейронных сетей для каждого из моделируемых параметров, решение задачи осуществлялось в два этапа:
1. Первый этап заключался в формировании предварительного пула, состоящего из 20 нейросетевых моделей. На первом этапе использовался вероятностный метод проектирования структуры нейронных сетей с генетическим алгоритмом обучения нейронной сети [2].
2. На втором этапе формировался коллектив из нейронных сетей, и рассчитывалось общее решение в коллективе, причем способ расчета выбирался в автоматическом режиме.
Результаты статистического исследования эффективности предлагаемого коллективного нейросетевого подхода и конкурирующих подходов приведены в таблице 2. В каждой ячейке приведено значение оценки математического ожидания ошибки моделирования и оценки дисперсии ошибки. Значения приведены в процентах.
Таблица 2
Результаты сравнительного исследования
Метод Номер моделируемого параметра
1 2 3 4 5
GASEN 5,3 7,8 12,3 6,7 8,6
GA based 1 6,2 8,1 13,4 7,5 8,9
GA based 2 5,2 7,9 12,1 6,4 8,4
Предлагаемый метод 4,8 7,0 10,9 5,4 7,6
Анализ хода решения задачи позволяет сделать вывод, что конкурирующие с разработанным методом коллективные нейросетевые подходы практически достигли некоторого потолка своей эффективности, что легко отслеживалось по их нечувствительности к увеличению вычислительных ресурсов, выделяемых на формирование коллективного решения. При этом повышается эффективность модели по параметрам «вычислительная сложность - точность моделирования». Это видно из результатов сравнения ошибки моделирования, полученной для решений, являющихся усреднением по всему предварительному пулу, и решений, полученных с помощью разработанного метода. Ошибка по всему пулу значительно больше, хотя число сетей формирующих решение в нем при этом в среднем в четыре раза больше, чем в коллективе, сформированном предлагаемым методом. По сравнению с другими коллективными подходами, формирующими коллектив схожей размерности, улучшение наблюдается по критерию адекватности проектируемой модели (более чем 8% относительное улучшение в рассматриваемой задаче). Этот факт является весьма существенным при решении практически задач, в которых высокая степень согласия модельных и реальных данных очень важна. Прогнозирование состояния гидротурбин, безусловно, относится к таким задачам. Создание эффективных методов проектирования технологий решения таких задач и реализация их в автоматизированных системах
_ 25
Научные и образовательные проблемы гражданской защиты - 2014'1
предупреждения инцидентов безопасности является актуальным направлением для дальнейших исследований.
3. Заключение
Анализ существующих подходов к построению коллективов нейронных сетей и формированию способа расчета общего решения в них позволил выявить ряд ограничений в существующих методах, определяющих их недостатки, и сформулировать требования к разрабатываемому методу формирования общего решения в коллективах нейронных сетей. В соответствии со сформулированными требованиями был предложен новый метод формирования общего решения на основе адаптаций и модификаций разработанного метода гибридного генетического программирования. Это позволило не только автоматизировать выбор способа расчета коллективного решения, но и расширить гибкость системы, основанной на использовании коллективов нейронных сетей, за счет отсутствия твердо закрепленной структуры взаимодействия между индивидуальными сетями, формирующими коллектив. При этом, разработанный метод позволяет не только формировать структуру взаимодействия между членами коллектива, но и (за счет включения или не включения соответствующих аргументов в формулу общего решения) обирать те нейронные сети, решения которых будут наиболее полезны в плане эффективности решения задачи.
Проведенные численные исследования показали, что разработанный эволюционный метод формирования общего решения на основе метода гибридного генетического программирования позволяет повысить эффективность решения большинства тестовых задач моделирования и моделирования, и его можно рекомендовать для применения при решении практических задач.
Перечисленные результаты были получены с помощью специально разработанных программных систем, позволяющих как проводить статистические исследования на тестовых задачах, так и решать реальные практические задачи.
Литература
1. Бухтояров, В.В. Эволюционный метод формирования общего решения в коллективах нейронных сетей / В.В. Бухтояров // Искусственный интеллект и принятие решений. - №3. - 2010. - С. 89-97.
2. Бухтояров, В.В. Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий / В.В. Бухтояров, Е.С. Семенкин // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - №3. - 2010. - С. 9-15.
3. Asuncion A. UCI Machine Learning Repository: [http://www.ics.uci.edu/~mlearn/MLRepository.html] / A. Asuncion, D.J. Newman // Irvine, CA: University of California, School of Information and Computer Science.
4. Bukhtoyarov, V. Comprehensive evolutionary approach for neural network ensemble automatic design / V. Bukhtoyarov, O. Semenkina // Proceedings of the IEEE World Congress on Computational Intelligence, Barcelona, Spain, 2010. - Pp. 1640-1645.
5. Hansen L.K. Neural network ensembles / L.K. Hansen, P. Salamon IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10) (1990) pp.993-1001.
6. I-Cheng Yeh "Modeling of strength of high performance concrete using artificial neural networks" / Yeh ICheng // Cement and Concrete Research, Vol. 28, No. 12, 1998. pp. 1797-1808.
7. Jimenez D. Dynamically weighted ensemble neural networks for classification / D. Jimenez // in: Proc. IJCNN-98, vol.1, Anchorage, AK, IEEE Computer Society Press, Los Alamitos, CA, 1998. pp.753-756.
8. Koza John R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems / John R. Koza. - Cambridge, MA: MIT Press, 1992.
