CC BY
163
УДК [519.85+519.71]:681.5
МЕТОД СТРУКТУРНО-ПАРАМЕТРИЧЕСКОЙ АДАПТАЦИИ МНОГОУРОВНЕВЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ С ИСПОЛЬЗОВАНИЕМ ЛОКАЛЬНЫХ ФУНКЦИОНАЛОВ КАЧЕСТВА
А. В. Назарова, канд. техн. наук, доцент
аВоенно-космическая академия им. А. Ф. Можайского, Санкт-Петербург, РФ
Постановка проблемы: широкий класс прикладных задач связан с перераспределением ограниченных ресурсов иерархических систем так, чтобы обеспечить экстремумы выходным показателям качества при возникновении ограничений на функционалы качества элементов внутренних уровней. В случае большой размерности таких задач возникают методологические проблемы построения оптимальных моделей распределенных систем обработки информации, функционирующих в условиях нестационарных изменений локальных функционалов качества. Целью работы является разработка модели и метода структурно-параметрической адаптации иерархических систем большой размерности на основе локализации изменений функционалов качества структурных элементов. Результаты: применение развитого математического аппарата методов оптимизации в сочетании с алгоритмом обратного распространения ошибки в многослойных М1Р-сетях позволило разработать модель адаптации показателей качества системы сбора и обработки измерительной информации к ее структурным и (или) параметрическим изменениям. Сформулирована постановка задачи синтеза многомерной по входу и выходу модели адаптации распределенной системы сбора и обработки измерительной информации. Разработан метод структурно-параметрической адаптации иерархических систем с использованием функционалов качества структурных элементов. Практическая значимость: модель позволяет определить настройки функциональных элементов различных иерархических уровней, исходя из заданного функционала качества всей системы на высшем уровне ее иерархии. Получены зависимости, позволяющие выбрать алгоритм параметрического синтеза модели информационной структуры иерархической системы в зависимости от состояния множества ее элементов.
Ключевые слова — адаптация, система сбора и обработки измерительной информации, многопараметрическая оптимизация, нейронные сети, многослойный М1Р-классификатор.
Введение
Для обеспечения эффективного функционирования сложных информационно-управляющих систем необходимо иметь алгоритмы управления, целью которых является такая подстройка или адаптация характеристик элементов систем, чтобы выбранный показатель или свертка показателей качества функционирования достигали экстремального значения. Адаптацией, в соответствии с наиболее распространенным определением Я. З. Цыпкина, будем считать процесс изменения параметров и структуры системы, а возможно, и управляющих воздействий на основе текущей информации с целью достичь определенного, обычно оптимального, состояния системы при начальной неопределенности и изменяющихся условиях функционирования [1, 2]. В статье рассматриваются модель и метод структурно-параметрической адаптации систем с многоуровневой структурой в функциональном, организационном или каком-либо ином плане, формируемой путем последовательного объединения множеств, содержащих более одного параметра. Примером распределенной многоуровневой системы является система сбора и обработки телеметрической информации космических комплексов (ССОИ) [3, 4].
Постановка задачи синтеза модели адаптации многоуровневой системы сбора и обработки информации
Функциональное назначение ССОИ — сбор и анализ измерительной информации о некоторых объектах или процессах. Распределенность ССОИ обусловлена пространственным, временным и функциональным разнесением элементов множеств измерительных преобразователей и элементов предварительной обработки информации по различным уровням иерархии. Задачу синтеза многомерной по входу и выходу модели адаптации к изменяющимся структуре и параметрам ССОИ сформулируем следующим образом.
Дано: 1. Множество функциональных звеньев ССОИ иг = ((, «2'-, 4' ■■■' иН)> Ь = 1Н, где Н — общее число звеньев функциональной схемы сбора и анализа измерительной информации. Функциональные звенья реализуют различные операции, начиная от первичного преобразования физической величины в электрический сигнал и заканчивая операцией вычисления вида состояния наблюдаемого объекта или процесса.
2. Для каждого функционального элемента ССОИ введена скалярная характеристика Р(и) как вероятность совместного наступления двух событий: 1) элемент работоспособен и 2) элемент функционирует по целевому назначению
в соответствии с заданными техническими характеристиками. Поскольку часть звеньев ССОИ являются управляемыми элементами, то существует возможность управлять значениями составляющих вектора параметров
P(u[), P u),..., P(K),..., p(u1h
h = 1, H.
3. Вектор 0 структурных характеристик функциональной (информационной) схемы ССОИ, включающий количественные характеристики состава, инцидентности, связности графа рассматриваемой структуры и др. Каждый элемент схемы при реализации информационных процессов в ССОИ связан с множеством других элементов на соседних уровнях иерархии.
4. В качестве весов связей между узлами и графа информационных процессов ССОИ определены веса ю^, с которыми значение функционала элемента у = юД(Р(и)) влияет на функционалы элементов у = юД(Р(и)), находящихся на более высоких уровнях иерархии ССОИ. Локальный функционал Д(*) осуществляет однозначное отображение множества значений вероятностной характеристики Р(и) функционального звена и в единый для всех элементов ССОИ диапазон [0, ..., 1].
5. Входными воздействиями ССОИ являются нелинейные преобразования от вероятностных характеристик физических величин {х1— , Ь = 1, Ь,
регистрируемых в определенные моменты времени ti, Ь = 1, Ь функционирования ССОИ. Так, входными процессами для узлов графа нижнего уровня иерархии модели являются измеряемые физические процессы, характеризуемые функционалом вероятностных характеристик ДР(Х)) — функционалом вероятности события, заключающегося в том, что свойства измеряемого процесса X соответствуют статическим и динамическим характеристикам первичных измерительных преобразователей (датчиков).
6. Выходными показателями ССОИ являются множество значений функционалов от показателей качества, упорядоченных в вектор целевых
Ь
характеристик ССОИ {<2]—=1, ]
1=1
п3 — количество целевых функционалов качества распределенной многоуровневой ССОИ. Например, ^ = [Дф), Дф), ..., Дф), Д(Е^, ДЕ2), ..., Д(ЕН), ДТ^, Д(Т2), ..., ДТ^)]Т, где Дф) — функционал достоверности распознавания вида состояния ^-го объекта или процесса; ДЕ^) — функционал точности вычислений параметров состояния; Д(ТЫ) — функционал оперативности распознавания вида состояния ^-го объекта или процесса.
Найти: 1. Параметры и структуру многомерной модели ¥ информационной структуры ССОИ,
= 1, n3; i = 1, L;
позволяющую отображать множество значений вероятностных функционалов {х1 — , Ь = 1, Ь входных характеристик измеряемых процессов во множество { — , Ь = 1, Ь значений выходных показателей качества ССОИ при ограничениях на значения вероятностных характеристик качества функционирования / (р(и1)),..., / (Р(иН))
функциональных звеньев на промежуточных уровнях иерархии ССОИ.
2. Управляемые элементы ССОИ из множества
и1 = (1, и2,..., и\,..., и1н), й = 1, Н, позволяющие
обеспечить оптимальный функционал качества ССОИ на высшем уровне ее иерархии.
Под ограничениями на значения вероятностных функционалов качества функционирования
?(Р(и1)),...,f(Р(ин)) функциональных звеньев
на промежуточных уровнях иерархии ССОИ подразумеваются ограничения, обусловленные как выходом из строя звеньев ССОИ в результате невосстанавливаемых отказов программных и
(или) технических средств, т. е. f = 0, так
и ограничения, обусловленные техническими характеристиками звеньев ССОИ.
Модель структурно-параметрической адаптации
В основе решения поставленной задачи и разработанного метода структурно-параметрической адаптации лежит подобие структур распределенных ССОИ и однородных вычислительных сред. Структурно-параметрическая оптимизация (точнее, аппроксимация «вход-выход» ССОИ с помощью оптимизационных обучающих процедур), лежащая в основе адаптации ССОИ, базируется на широком арсенале методов параметрического синтеза моделей распознавания на основе однородных вычислительных сред [5, 6]. Такой подход открывает новые возможности для моделирования процессов в многоуровневых структурах с использованием различных архитектур однородных вычислительных сред, например таких, как MLP-классификаторов (Multilayer perceptron — многослойные нейросетевые архитектуры, обучаемые по модификациям метода обратного распространения ошибки). Подобие моделей ССОИ и однородных вычислительных сред иллюстрирует рис. 1.
Согласно теореме Хехт — Нильсена [5, 6], любую многоуровневую функциональную схему ССОИ можно представить в виде однородной вычислительной среды соответствующей архитектуры. Представим каждый j-й элемент ССОИ
Архитектура моделей ССОИ на основе многослойных однородных вычислительных сред
I------------
Отображение множества измеряемых характеристик в множество параметров состояния
Отображение множества параметров состояния в множество классов I состояний
■ Рис. 1. Подобие иерархий моделируемых структур и архитектур однородных вычислительных сред
элементом на основе модели Маккалоха — Питтса [5] (рис. 2). Элемент реализует функцию нелинейного отображения многомерного пространства входов Rn в выход R1:
% )=*№)) = *
Е ((«) ;=1
к-1
- ь
' (1)
где f(s) — локальный стохастический функционал, значение которого есть вероятность правильного функционирования у-го звена ССОИ с областью значений [0, 1]; п — количество аргументов вероятностного функционала правильного функционирования у-го звена на уровне иерархии ССОИ; — величина регулируемой функциональной связи между ¿-м и у-м функциональными элементами; Р(и)к-1 — вероятность правильного функционирования ¿-го звена на (1г - 1)-м уровне иерархии ССОИ.
В качестве стохастического функционала Д*) определим функционал вида
* (х) =
1
1 + е-
(2)
ЛР(ип))й-
■ Рис. 2. Элемент модели ССОИ, реализующий функцию нелинейного отображения
где х — индуцированное локальное поле нелинейного преобразователя, моделирующего функционирование элемента ССОИ, -¥ < х <
Синтезированную модель с настроенными по заданному критерию качества функционирования ССОИ коэффициентами межэлементных свя-
зей \и!ц, I, ] = 1, и'
N
к=1
где N — количество уров-
ней иерархии, можно рассматривать как «серый ящик», на вход которого поступает векторный сигнал Х. Элементы модели на промежуточных уровнях иерархии осуществляют последовательные преобразования от вероятностных характеристик физических величин X, регистрируемых в определенные моменты времени, а на выходе формируется векторный сигнал Y, характеризующий показатели качества ССОИ, обеспечиваемые в результате параметрического синтеза модели.
С помощью модели структурно-параметрической адаптации на основе отображения ¥: Rn ^ Rm п-мерного вектора Х = (х1, х2, ..., хп)т функционалов вероятностных характеристик измеряемых физических процессов в т-мерный вектор Y = (ур у2, ..., ут)т показателей качества ССОИ многократно вычисляются искомые приращения Ау = Аю^(Р(щ)). Отображение должно быть оптимальным в смысле минимума средне-квадратической погрешности восстановления вектора Y = (у1, у2, ..., ут)т показателей качества ССОИ при подаче на вход вектора Х = (х1, х2, ... , хп)т функционалов вероятностных характеристик измеряемых физических процессов. Модель адаптации типа «серого ящика» позволяет при изменении структуры и (или) параметров элементов ССОИ на низшем или промежуточных
уровнях иерархии переобучать модель ¥ для обеспечения необходимого Y при заданном X на входе.
Зная вид и параметры функционалов структурных элементов ССОИ, реализовать параметрический синтез модели ССОИ известной структуры можно с использованием парадигмы «обучения с учителем», основанной на предъявлении смоделированных по методу Монте-Карло множеств обучающих образов, каждый из которых описывается своим входным вектором X и множеством целевых реакций Y [7]. Вводя для каждого ^го уровня иерархии ССОИ матрицу настраиваемых весов поэлементных межуровневых связей, модель ¥ следует настроить так, чтобы минимизировать некоторую функцию невязки Е отклонения фактического значения Yi от желаемого Dl, причем этот процесс синтеза продолжается до тех пор, пока выход модели ¥ не станет для каждого I удовлетворять критерию Е1 < Д. С математической точки зрения процесс синтеза модели ССОИ в этом случае сводится к минимизации показателя качества обучения (целевой функции в пространстве выходных характеристик ССОИ) по настраиваемым весам Юу и может протекать как в непрерывном г, так и дискретном k = 0, 1, 2, ... времени.
В дискретном представлении синтез модели ССОИ производится путем минимизации выходной невязки для каждого у'-го структурного элемента ССОИ:
Е] (к) = 2е] (к) = 2((к)-Р(и] (к) = (к)-/
Е
1=1
Щ]Х (к)
(3)
с помощью рекуррентной процедуры
Щ] (к +1) = Щ] (к) + ц(к)5] (к)х1 (к) дЕ] (к)
(4)
где 5] (к) = е] (к)Г((и] (к))) =
— локаль-
дР(и] (к)
ная ошибка на выходе структурного элемента ССОИ иу; Д(*) — стохастический функционал вида (2).
Параметрический синтез модели ССОИ, основанный на градиентных ньютоновских процедурах оптимизации, реализует так называемый регулярный подход [8], в рамках которого на каждом шаге вычисляются веса Юу, с которыми значения некоторых функционалов у1 = юД(Р(и)) влияют на функционалы у = юД(Р(и)), находящиеся на последующих (более высоких) уровнях иерархии ССОИ. В случае если функционал элемента ССОИ не удается сформировать в виде монотонно возрастающей, ограниченной и имеющей отличные от нуля производные на всей
области определения функции Д(*), или если глобальная целевая функция многоэкстремальна, недифференцируема, а также если Д(*) является не функционалом, а оператором, то следует применить эволюционные алгоритмы параметрического синтеза модели ¥ [9].
Многоуровневая информационная структура ССОИ позволяет использовать для параметрического синтеза алгоритм обратного распространения ошибок или обобщенное дельта-правило [10, 11]. Именно благодаря процедуре обратного распространения ошибок имеется возможность решать задачу синтеза и применения модели адаптации ССОИ по предназначению, не прибегая к классическим процедурам параметрической оптимизации в пространствах большой (невычислимой) размерности.
Синтез алгоритма
структурно-параметрической адаптации
Без потери общности для М уровней иерархии и неравном числе элементов на соседних уровнях рассмотрим использование концепции обратного распространения выходной невязки вида (3) применительно к трехслойной архитектуре информационной структуры ССОИ (рис. 3).
Исходная информация с помощью процедуры Монте-Карло задана в виде последовательности пар обучающих векторов «вход ^ выход», образующих обучающую выборку вида «Вектор преобразований Д от вероятностных характеристик Р(Х) регистрируемых физических величин ^ Вектор преобразований Д от множества значений показателей качества ССОИ». На рис. 3 — значения вероятностных функционалов, отмеченных для различных слоев и элементов одного слоя. Начальные значения вероятност-
пп1
ю2п1п2
Уп3 } 5п3
■ Рис. 3. Модель трехуровневой архитектуры информационной структуры ССОИ, составленной из связанных по иерархии функциональных элементов МЬР-классификатора
1
1
ных функционалов на промежуточных уровнях иерархии у1 = ю^(Р(и) установим либо на середину функционального диапазона звена щ, либо равными математическому ожиданию ^Р(и^). Ряд функциональных элементов ССОИ имеют ограничения на выходе уу = ю^(Р(и)) в виде равенств ю^(Р(и)) = у■ и (или) неравенств А1 < ю1^(Р(и])) < А?, данные элементы на рис. 3 затемнены.
Исходные значения = 0,5 + , где Е — некоторая случайная величина, как правило, распределенная по равномерному закону в диапазоне [0, ..., 0,1]. Начальные значения компонент вектора преобразований f от множества значений показателей качества ССОИ установим на номинальные значения, заданные при проектировании элементов высшего уровня информационной структуры ССОИ. Как правило, это вершины графа, соответствующие операциям принятия решения о состоянии контролируемого объекта.
Для рассмотренной структуры необходимо использовать алгоритм параметрического синтеза модели ¥, заключающийся в адаптации коэффициентов всех уровней (слоев) таким образом, чтобы расхождение между выходным и входным сигналами сети минимизировалось в смысле показателя Е у (к). Из этого следует, что алгоритм синтеза представляет собой процедуру поиска экстремума специально сконструированной целевой функции ошибок на множестве значений {уу = ю^(Р(и))}. Модель имеет п0 входов, п1 элементов в первом скрытом слое, п2 элементов — во втором и п1 элементов — в выходном слое, в общем случае п1 ^ п2 ^ п3. Каждый входной вектор синтезированной по методу Монте-Карло обучающей выборки представляет собой вектор x = [х1, ..., х, ..., хп0]т, выходной вектор у = [у1, ..., у, ..., уп3]т и целевой вектор d = [<¿1, ..., <, ...,
В процессе параметрического синтеза модели ¥ необходимо обеспечить минимальное рассогласование между текущими значениями выходных у (к) и целевых <(к) сигналов для всех у = 1, 2, ..., п3 и к. Для этого используем глобальную целевую функцию вида
Ек=Е т=2 ЕЕ
к к ]
й] (к)- У] (к))2 =
=2 ЕЕ] (к).
к ]
(5)
Данная целевая функция соответствует процедуре «пакетного обучения», когда Ек минимизируется сразу по всей обучающей выборке. При малых значениях шага коррекции Аи]?] (к), где в — номер уровня, удовлетворяющих условию Дворецкого [12], процедура обратного рас-
пространения ошибки минимизирует и целевую функцию
1 П3 а 1 Пз П3
т=1ЕЫк)-У]-(к))2=2е4(к=ЕЕ¡(Я (6)
1=1
2=1
2=1
В случае отсутствия выраженной иерархии в информационных связях в рамках метода адаптации ССОИ для синтеза оптимального отображения ¥: Rn ^ Rm п-мерного вектора Х = (х1, х2, ..., хп)т функционалов вероятностных характеристик измеряемых физических процессов в т-мерный вектор Y = (у1, у2, ..., ут)т показателей качества можно использовать алгоритм Левенберга — Марквардта. Данный алгоритм обеспечивает более быстрое обучение сети (с увеличением скорости на порядок и более), чем описанный алгоритм обратного распространения ошибки, использующий градиентную оптимизацию. Для сокращения вычислительных затрат в алгоритме Левенберга — Марквардта матрица Гессе аппроксимируется в виде H = ^^ В результате градиент величины коррекции весовых коэффициентов и величин смещения функциональных элементов вычисляется через определитель J Якоби, содержащий частные производные первого порядка ошибок весовых коэффициентов и пороговых величин [13]. Алгоритм синтеза модели ¥ содержит 6 шагов.
1. Выбираются начальные значения подбираемых и вспомогательных переменных т, ю0, г> 1 V).
2. Рассчитывается антиградиент в к-й итерации по формуле g(wk) = У(юд.)]те(юй).
3. Вычисляется матрица G(wk), аппроксимирующая гессиан: G(wk) = У(юк)]те(юк) + R(wk). Осуществляется регуляризация R(wk)=vkI, где
— параметр Левенберга — Марквардта: G(wk) = = J(wk)JT(wk) + VkI.
4. Вычисляется направление движения в к-й итерации: к = -G-1(wk)gk.
5. Вычисляется значение согласно правилу
Vк —1 ^
ик = — при Е
ик—1
= ик-1 при Е Ч = ик-1гт при Е
Щ—1
г
Щ—1
< Ек;
> Ек и Е^к-1) > Е^; > Ек и Е^к-1) > Ек.
6. Вычисляется ошибка Е на обучающей выборке, и если ошибка существенна, повторяются шаги 2-6.
Рассмотренный алгоритм обучения Левенбер-га — Марквардта использует для поиска минимума функционала Е комбинированную стратегию линейной аппроксимации и градиентного спуска с возможностью переключения с одной стратегии на другую [5, 14].
г
Применение метода
структурно-параметрической адаптации для управления многоуровневой ССОИ
Рассмотрим механизм применения модели информационной структуры ССОИ в рамках метода структурно-параметрической адаптации при изменениях как в структуре самой ССОИ, так и в состоянии наблюдаемого объекта или процесса.
Пусть в результате изменений в состоянии наблюдаемого объекта (или процесса) или ССОИ обнаружено ограничение на выходной вероятностный функционал одного или нескольких функциональных звеньев ССОИ. При этом изменены параметры вектора 0 связности и (или) изменена структура графа ССОИ и, соответственно, изменены значения межэлементных связей в синтезированной стандартной модели ССОИ. При этом действуют ограничения:
— ограничение элемента ССОИ типа равен-
ства
и] ■ 1 (р(и])) = у';
(7а)
— ограничение элемента ССОИ типа неравенств
Д) < и] ■ 1(р(и]а] ))< Д2; (7б)
— элемент ССОИ неработоспособен
и] ■
1 (Р
и]
= 0.
(7в)
Стандартная модель ¥ соответствует нормальному режиму функционирующей ССОИ. Предположим, что при номинальных значениях измеряемых параметров объекта или процесса воздействию подверглись элементы промежуточных уровней ССОИ. Тогда алгоритм выявления изменений на выходе элементов ССОИ во взве-
шенном пространстве иц ■ 1 (Р(и] ] модели ¥
и локализации управляемых элементов ССОИ из множества и1 = (и1, и12,..., и1й,..., и1н), й = 1, Н, позволяющих обеспечить оптимальный функционал качества ССОИ на высшем уровне ее иерархии, содержит 7 шагов.
1. Подача на входной слой модели ¥, соответствующий низшему уровню иерархии ССОИ вектора Xk, где k — номер примера обучающей выборки, номинальных значений нелинейных функционалов от вероятностных характеристик измеряемых физических процессов Д(Р(Х)), т. е. значений номинальных параметров объекта или процесса.
2. Вычисление взвешенных выходных значе-
ний { и] ■ 1 (Р (и[
,[в]
]
функционалов вероятност-
ных характеристик всех последующих уровней ССОИ с учетом ограничений вида (7а)-(7в) с ис-
пользованием функционала 1[в] (х) =
1
1 + е-а^х'
] = 1, п3.
3. По заданному целевому вектору Dk, где k — номер примера обучающей выборки, и вычисленным промежуточным выходам ор] (к), где k — номер примера обучающей выборки, соответствующей нормальному режиму функционирования ССОИ, расчет локальных ошибок 5[в] (к) для всех слоев модели.
4. Расчет поправок всех весов меж-
Л 1] XМ М
элементных связей в виде Ди] (к) = ^5^х- ,
в = 1,2,3,..., где в — количество слоев модели ¥
или уровней иерархии ССОИ.
5. Подача на вход и установка на выходе модели следующего образа ^д., Dk) из обучающей выборки, соответствующей нормально функционирующей ССОИ, и повторение шагов 1-4. Процесс обучения продолжается до тех пор, пока ошибка в выходном слое модели не станет удовлетворять критерию минимума Ед (5), а пересчитанные для «неисправной» структуры ССОИ веса и] модели ¥ стабилизируются на некоторых уровнях.
6. Поэлементный анализ значений взвешенных выходных функционалов и*. ■ 1 (р(и[в])), где и* соответствует весу выхода элемента в «неисправной» ССОИ, в целях обнаружения направления и степени их изменения относительно ■ (нормально функционирующей ССОИ) в нормированном диапазоне сжимающей функции (2).
7. Интерпретация изменений и принятие решений на управляющие воздействия в целях коррекции управляемых характеристик элементов
реальной ССОИ, отображаемых в и] ■1 (р(и]в]Ц
модели ¥.
Таким образом, определяется множество ю- ■
Ч
многослойной модели ССОИ, аппроксимирующей зависимость «вход/выход» для множества режимов функционирования ССОИ, и множество ю* структурно и (или) параметрически видоизмененной модели «неисправной» ССОИ для множества тех же режимов функционирования. Это позволяет, проанализировав изменения в пространстве и*, ■ 1 (р(и]8])), локализовать управляемые элементы ССОИ из множества
и- = (и1, и2,..., и\,..., иН), й = 1, Н. При этом решение задачи управления при отклонении условий функционирования ССОИ от нормальных снимается не с выхода У, а путем интерпретации динамики параметров модели ¥. Любой слой в разработанной модели является не только обрабатывающим, но и выходным, т. е., с одной стороны, выдает промежуточные результаты обработки информации, имеющие самосто-
ятельное значение, а с другой — доставляет информацию для последующих слоев более высоких уровней иерархии информационной структуры ССОИ.
Было проведено моделирование фрагмента информационной структуры ССОИ, состоящей из 6 уровней иерархии (рис. 4, 5), при котором использовалась коррекция вида [15]
п
е j m-1 (к) *<) к
ns-ii1-:
+ %Aw[; (v -1)- aAwjS (v) + e(v),
(8)
где V = 1, 2, ... — номер итерации коррекции весов; 0 < л < 1 — скорость обучения; пв — количество элементов ССОИ на в-м уровне иерархии; X — параметр регуляризации; а = 10-3^10-5 — параметр, предохраняющий процесс обучения от возникновения недопустимо больших весов и1р; е(V) — шумовая составляющая.
С учетом ограничений на выходные вероятностные функционалы оИ (к) элементов ССОИ каждый вес соответствует определенным значе-
[И] [И]/
ниям и] = и] , усредненным по множеству к
векторов «номинальной» обучающей выборки. На выходе модели в качестве целевого (оптимального с точки зрения разработчика ССОИ) (п3х1)-мерного вектора используется совокупность значений вероятностного функционала показателей качества всей системы D с элементами й1 = = = 0,99; ... < = ПБ2) = 0,99; ... ¿1 = f(C) = 0,01;
¿п3=т = 0,01. 3
3Анализ представленных графиков позволяет выбрать алгоритм параметрического синтеза
£ с
£
яШ
S н ° °
Eli?SS g. о ^ я а х S ь, с я |
о G S5
о м 5Я
я й S ° Ён a s я к ^св а
до»? as® я с
1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00
0 2 4 6
10 12 14 16 18 20
Количество (в % от общего числа) элементов ССОИ с ограничениями вида неравенств в интервале 0,5 от рабочего диапазона ДР(и))
■ Рис. 4. Зависимости вероятности сходимости четырех различных процедур параметрического синтеза модели ССОИ от количества элементов с ограничениями вида неравенств: 1 — алгоритм Левенберга — Марквардта; 2 — алгоритм оптимизации 1-го порядка для глобальной целевой функции (5);
3 — алгоритм оптимизации 1-го порядка для локальной целевой функции (6);
4 — алгоритм случайного поиска
s $я5
se s'g
oäS« л g
О м Я
Я л S с
ей * S
Я ¿я Я
Mâp Я °
1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00
0 2 4 6
10 12 14 16 18 20
Количество (в % от общего числа) моделируемых элементов ССОИ с ограничением
■ Рис. 5. Зависимости вероятности сходимости процедуры Левенберга — Марквардта от количества ограничений на стохастические функционалы элементов ССОИ на внутренних иерархических уровнях: 1 — ограничения типа неравенства (7б); 2 — ограничения типа равенства (7а); 3 — элементы неработоспособны (7в)
модели в зависимости от информационной структуры, вида ограничений и количества отказавших элементов ССОИ. Зависимости на рис. 4 и 5 получены частотным способом соответственно по 100 и 60 экспериментам в каждой точке; сходимость к погрешности е = 0,01. Количество функциональных элементов по шести слоям МЬР-сети 50/40/30/20/10/5 и 20/18/16/14/ 10/5.
Синтезированная модель нормально функционирующих ССОИ и контролируемого объекта или процесса полностью описывается в-матрицами весов межэлементных связей и1р, осуществляющих нелинейное отображение пространства входов в пространство выходов на основе аппроксимации сложных многомерных нелинейных функций, реализуемых в реальной ССОИ.
Заключение
Применение математического аппарата нелинейной оптимизации в сочетании с алгоритмом обратного распространения ошибки в многослойных сетях, моделирующих многоуровневые информационные процессы, позволило разработать модель адаптации показателей качества ССОИ к структурным и (или) параметрическим изменениям как в состоянии контролируемых объектов или процессов, так и в самой ССОИ. С помощью модели возможно определить, в каком функциональном элементе и на сколько (в смысле вероятностного функционала выполнения элементом своей целевой задачи) необходимо изменить выходные характеристики звена, для того чтобы при воздействии на ССОИ или объект/процесс обеспечить заданный функционал качества всей системы на высшем уровне ее иерархии.
Литература
1. Турчин В. Ф. Феномен науки. Кибернетический подход к эволюции. — М.: ЭТС, 2000. — 368 с.
2. Цыпкин Я. З. Вопросы кибернетики. Адаптивные системы / АН СССР. — М., 1974. — С. 5-20.
3. Мальцев Г. Н., Стогов Г. В., Терехов А. В. Перспективы создания комплексов управления космическими аппаратами на базе ключевых технологий // Информационно-управляющие системы. 2006. № 5. С. 2-5.
4. Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of Technical for Low-Orbit Spacecraft with the Use of Neural Networks//Cosmic Research. 2002. Vol. 40. N 6. P. 594-604.
5. Haykin S. Neural Networks: A Comprehensive Foundation. — N. Y.: MacMillan College Publishing Co, 1994.— 1104 p.
6. Галушкин А. И. Нейрокомпьютеры в разработках военной техники США // Зарубежная радиоэлектроника. 1995. № 5. С. 3-48.
7. Назаров А. В. Алгоритм прогнозирования в пространстве параметров ситуации // Нейрокомпьютеры: разработка и применение. 2007. № 2-3. С. 24-28.
8. Вахитов А. Т., Граничин О. Н., Гуревич Л. С. Алгоритм стохастической аппроксимации с пробным возмущением на входе в нестационарной задаче оптимизации // Автоматика и телемеханика. 2009. № 11. С. 70-79.
9. Бодянский Е. В., Руденко О. Г. Искусственные нейронные сети: архитектуры, обучение, применения. — Харьков: Телетех, 2004. — 369 с.
10. Назаров А. В., Лоскутов А. И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. — СПб.: Наука и Техника, 2003. — 384 с.
11. Werbos P. Backpropagation Through time. What it Does and How to do it // Proc. IEEE. 1990. Vol. 78. P. 1550-1560.
12. Татузов А. Л. Нейронные сети в задачах радиолокации. — М.: Радиотехника, 2009. — 432 с.
13. Осовский С. Нейронные сети для обработки информации. — М.: Финансы и статистика, 2004. — 344 с.
14. Amari S. Dreaming of Mathematical Neuroscience for Half a Century // Neural Networks. 2013. N 37. P. 48-51.
15. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. — Stuttgart: Teubner, 1993. — 526 p.
UDC [519.85+519.71]:681.5
Method of Structurally-Parametric Adaptation Multilayer Systems of Information Processing with usage of Quality Local Functionals
Nazarov A. V.a, PhD, Tech., Associate Professor, [email protected]
aA. F. Mozhayskii Military Space Academy, 13, Zhdanovskaia St., 197082, Saint-Petersburg, Russian Federation
Purpose: A wide class of application-oriented tasks deal with reallocation of restricted resources in hierarchical systems to provide extremes for the output quality coefficients, when the functionals of the internal level elements quality are restricted. If these tasks have big dimensionality, there are methodological problems of developing optimal models of distributed information-processing systems which function under the conditions of nonstationary changes of the local quality functionals. The aim of this work is developing a model and a method of structurally-parametrical adaptation of hierarchical big-dimensionality systems, localizing the changes of structural elements quality functionals. Results: Application of advanced mathematical apparatus of optimization methods combined with the error backpropagation algorithm in multilayer MLP-networks gave rise to the model in which the quality parameters of the measurement information collection/processing system are adapted to the structural and/or parametric changes of the information. The problem was formulated of synthesizing an input/ouput multidimentional adaptation model for a distributed system of measurement information collection/processing. Taking into account the similarity of hierarchies of the modelled processes and the architectures of the homogeneous computing environments, the modelling used the multilayer MLP-qualifier architecture. The method of structural-parametric adaptation of hierarchical systems was developed, with the usage of structural elements quality functionals. Practical relevance: The model is useful in defining the adjustments of functional elements at various hierarchical levels, proceeding from the given quality functional for the whole system at the top level of its hierarchy. The dependences were obtained which help to select an algorithm for the parametric synthesis of a hierarchical system information structure model, depending on the state of a set of its elements.
Keywords — Adaptation, System of Measurement Information Collection/Processing, Multiparameter Optimization, Neural Nets, Multilayered MLP-Qualifier.
References
1. Turchin V. F. Fenomen nauki. Kiberneticheskii podkhod k evoliutsii [Science Phenomenon. The Cybernetic Approach to Change of Aircraft Attitude]. Moscow, ETS Publ., 2000. 368 p. (In Russian).
2. Tsypkin Ia. Z. Voprosy kibernetiki. Adaptivnye sistemy [Cybernetics Questions. The Adaptive Systems]. Moscow, Nau-ka Publ., 1974. Pp. 5-20 (In Russian).
3. Maltsev G. N., Stogov G. V., Terekhov A. V. The Prospects of Spacecraft Control System Creation on the Basis of Key Technologies. Informatsionno-upravliaiushchie sistemy, 2006, no. 5, pp. 2-5 (In Russian).
5.
6.
Nazarov A. V., Kozyrev G. I., Shklyar S. V. Prognostication of Technical for Low-Orbit Spacecraft with the Use of Neural Networks. Cosmic Research, 2002, vol. 40, no. 6, pp. 594-604. Haykin S. Neural Networks: A Comprehensive Foundation. New York, MacMillan College Publishing Co, 1994. 1104 p. Galushkin A. I. Neurocomputer in Development of Military Technology of the USA. Zarubezhnaja radioelektronika, 1995, no. 5, pp. 3-48 (In Russian).
Nazarov A. V. Algorithm of Forecasting in Space of Situation Parameters. Nejrokomp'jutery: razrabotka i primene-nie, 2007, no. 2-3, pp. 24-28 (In Russian).
4
7.
8. Vahitov A. T., Granichin O. N., Gurevich L. S. Algorithm of Stochastic Approximation with Trial Perturbation on an Input in the Non-Stationary Task of Optimization. Avtoma-tika i Telemehanika, 2009, no. 11, pp. 70-79 (In Russian).
9. Bodianskii E. V., Rudenko O. G. Iskusstvennye neiron-nye seti: arkhitektury, obuchenie, primeneniia [Artificial Neural Networks: Architectures, Tutoring, Applications]. Khar'kov, Teletekh Publ., 2004. 369 p. (In Russian).
10. Nazarov A. V., Loskutov A. I. Neirosetevye algoritmy prog-nozirovaniia i optimizatsii system [Neural Nets Prediction Algorithms and Optimization of Systems]. Saint-Petersburg, Nauka i Tekhnika Publ., 2003. 384 p. (In Russian).
11. Werbos P. Backpropagation Through Time. What it Does and how to Do it. Proc. IEEE, 1990, vol. 78, pp. 1550-1560.
12. Tatuzov A. L. Neironnye seti v zadachakh radiolokatsii [Neural Networks in Radiolocation Problems]. Moscow, Ra-diotekhnika Publ., 2009. 432 p. (In Russian).
13. Osovskii S. Neironnye seti dlia obrabotki informatsii [Neural Networks for Information Processing]. Moscow, Finan-sy i statistika Publ., 2004. 344 p. (In Russian).
14. Amari S. Dreaming of Mathematical Neuroscience for Half a Century. Neural Networks, 2013, no. 37, pp. 48-51.
15. Cichocki A., Unbehauen R. Neural Networks for Optimization and Signal Processing. Stuttgart, Teubner, 1993. 526 p.
Уважаемые авторы!
При подготовке рукописей статей необходимо руководствоваться следующими рекомендациями.
Статьи должны содержать изложение новых научных результатов. Название статьи должно быть кратким, но информативным. В названии недопустимо использование сокращений, кроме самых общепринятых (РАН, РФ, САПР и т. п.).
Объем статьи (текст, таблицы, иллюстрации и библиография) не должен превышать эквивалента в 20 страниц, напечатанных на бумаге формата A4 на одной стороне через 1,5 интервала Word шрифтом Times New Roman размером 13, поля не менее двух сантиметров.
Обязательными элементами оформления статьи являются: индекс УДК, заглавие, инициалы и фамилия автора (авторов), ученая степень, звание (при отсутствии — должность), полное название организации, аннотация и ключевые слова на русском и английском языках, электронные адреса авторов, которые по требованию ВАК должны быть опубликованы на страницах журнала. При написании аннотации не используйте аббревиатур и не делайте ссылок на источники в списке литературы.
Статьи авторов, не имеющих ученой степени, рекомендуется публиковать в соавторстве с научным руководителем, наличие подписи научного руководителя на рукописи обязательно; в случае самостоятельной публикации обязательно предоставляйте заверенную по месту работы рекомендацию научного руководителя с указанием его фамилии, имени, отчества, места работы, должности, ученого звания, ученой степени — эта информация будет опубликована в ссылке на первой странице.
Формулы набирайте в Word, не используя формульный редактор (Mathtype или Equation), при необходимости можно использовать формульный редактор; для набора одной формулы не используйте два редактора; при наборе формул в формульном редакторе знаки препинания, ограничивающие формулу, набирайте вместе с формулой; для установки размера шрифта никогда не пользуйтесь вкладкой Other..., используйте заводские установки редактора, не подгоняйте размер символов в формулах под размер шрифта в тексте статьи, не растягивайте и не сжимайте мышью формулы, вставленные в текст; в формулах не отделяйте пробелами знаки: + = -.
Для набора формул в Word никогда не используйте Конструктор (на верхней панели: «Работа с формулами» — «Конструктор»), т. к. этот ресурс предназначен только для внутреннего использования в Word и не поддерживается программами, предназначенными для изготовления оригинал-макета журнала.
При наборе символов в тексте помните, что символы, обозначаемые латинскими буквами, набираются светлым курсивом, русскими и греческими — светлым прямым, векторы и матрицы — прямым полужирным шрифтом.
Иллюстрации в текст не заверстываются и предоставляются отдельными исходными файлами, поддающимися редактированию:
— рисунки, графики, диаграммы, блок-схемы предоставляйте в виде отдельных исходных файлов, поддающихся редактированию, используя векторные программы: Visio 4, 5, 2002-2003 (*.vsd); Coreldraw (*.cdr); Excel (*.xls); Word (*.doc); Adobelllustrator (*.ai); AutoCad (*.dxf); Matlab (*.ps, *.pdf или экспорт в формат *.ai);
— если редактор, в котором Вы изготавливаете рисунок, не позволяет сохранить в векторном формате, используйте функцию экспорта (только по отношению к исходному рисунку), например, в формат *.ai, *.esp, *.wmf, *.emf, *.svg;
— фото и растровые — в формате *.tif, *.png с максимальным разрешением (не менее 300 pixels/inch).
Наличие подрисуночных подписей обязательно (желательно не повторяющих дословно комментарии к рисункам в тексте статьи).
В редакцию предоставляются:
— сведения об авторе (фамилия, имя, отчество, место работы, должность, ученое звание, учебное заведение и год его окончания, ученая степень и год защиты диссертации, область научных интересов, количество научных публикаций, домашний и служебный адреса и телефоны, e-mail), фото авторов: анфас, в темной одежде на белом фоне, должны быть видны плечи и грудь, высокая степень четкости изображения без теней и отблесков на лице, фото можно представить в электронном виде в формате *.tif, *.png с максимальным разрешением — не менее 300 pixels/inch при минимальном размере фото 40x55 мм;
— экспертное заключение.
Список литературы составляется по порядку ссылок в тексте и оформляется следующим образом:
— для книг и сборников — фамилия и инициалы авторов, полное название книги (сборника), город, издательство, год, общее количество страниц;
— для журнальных статей — фамилия и инициалы авторов, полное название статьи, название журнала, год издания, номер журнала, номера страниц;
— ссылки на иностранную литературу следует давать на языке оригинала без сокращений;
— при использовании web-материалов указывайте адрес сайта и дату обращения.
Список литературы оформляйте двумя отдельными блоками по образцам lit.dot на сайте журнала (http://i-us.ru/paperrules) по разным стандартам: Литература - СИБИД РФ, References - один из мировых стандартов.
Более подробно правила подготовки текста с образцами изложены на нашем сайте в разделе «Оформление статей».
Контакты
Куда: 190000, Санкт-Петербург, Б. Морская ул., д. 67, ГУАП, РИЦ Кому: Редакция журнала «Информационно-управляющие системы» Тел.: (812) 494-70-02 Эл. почта: [email protected] Сайт: www.i-us.ru
