Анализ и синтез нейронных сетей, систем с мажоритарными логиками и логиками старшинства Текст научной статьи по специальности «Компьютерные и информационные науки»

Краткие сообщения

УДК 519.7 DOI: 10.14529/^сг170113

АНАЛИЗ И СИНТЕЗ НЕЙРОННЫХ СЕТЕЙ, СИСТЕМ С МАЖОРИТАРНЫМИ ЛОГИКАМИ И ЛОГИКАМИ СТАРШИНСТВА

ВлД. Мазуров, Д.В. Гилёв

Уральский федеральный университет им. первого Президента России Б.Н. Ельцина, г. Екатеринбург

Диагностика объектов и ситуаций, выбор решений - основные понятия и задачи в моделировании решающих правил распознавания, факторного анализа и оптимизации параметров этих моделей. В данной статье изучаются концептуальные вопросы теории искусственных нейронных сетей, в том числе их корректности и устойчивости. Корректность - обеспечение требуемых реакций или малых вариаций сети или системы на входные информации по материалу обучения. Устойчивость - это сохранение реакций нейронной сети или их малое изменение при малых изменениях исходной информации. Будем рассматривать только слоистые сети - они используют суперпозиции функций. Вероятностные методы в данной статье не используются.

Ключевые слова: нейронные сети, решётки, системы линейных неравенств, устойчивость.

Введение

Анализ готовой искусственной нейронной сети N - это простой метод проверки правильности её реакций на объекты экзаменационной выборки. Как правило, в прикладных задачах эта выборка конечна. Мы хотим подчеркнуть, что внешняя среда, действующая на вход нейронной сети, нам в принципе неизвестна, и мы можем изучать только тот пиксельный образ, который создаётся сенсорным слоем.

Таким образом, анализ сети очень прост. Значительно сложнее синтез сети с нужными реакциями на объекты обучающей выборки. На искусственную нейронную сеть можно смотреть как на композицию предикатов. Так что речь идёт о настройке сети, моделирующей предикаты. Как правило, это слоистая нейронная сеть.

Нами установлено, что в композиционной модели для построения нейронной сети достаточно оперировать аффинными функциями. В дискретном процессе - оперировать пороговой линейной функцией. Конечно, если функция пороговая, то она нелинейная. Но этот термин предполагает, что, например, функция Цх) = signum Дх) такова, что Дх) - аффинная функция.

1. Из истории нейронных сетей

Мы будем рассматривать нейронную сеть N в виде ориентированного графа Г: N = Г(У, S),

где V - множество формальных нейронов, IV = п, S - совокупность связей, то есть коэффициентов ау:

ау = 0, если реакция >го нейрона не передаётся на вход j-го нейрона;

ау > 0, если реакция (сигнал) >го нейрона, умноженная на коэффициент ау, передаётся на вход j-го.

Таким образом, сигнал умножается на весовой коэффициент ау, и при обучении сети коэффициенты корректируются.

Нейронная система отличается от сети тем, что в ней множество нейронов бесконечно. Как правило, в этом случае система предполагается счётной. Это значит, например, что время дискретно в нейронной сети. Нами совместно с И.И. Ерёминым вначале был изучен метод, когда на обуче-

ние направляются последовательно векторы обучающей последовательности, так что здесь мы имели дело со счётным множеством. Потом И.И. Ерёмин рассмотрел также континуальный случай.

Ассоциативные нейроны - классические, то есть являются аффинными пороговыми функциями. В общем случае реакция формального нейрона - это некоторая функция от входов. Когда требуется дифференцирование, то сигнум в пороговом элементе заменяется на гладкую функцию - сигмоид.

Реакции ассоциативного блока нейронов направляются на слой решающих нейронов. Они откликаются на множество реакций ассоциативных нейронов либо взвешенной суммой этих реакций, либо как мажоритарные элементы, либо по демократии старшинства (при ранжировании членов коллектива решающих нейронов). При этом, как правило, решающие элементы являются пороговыми с сигнумами или с сигмодами.

Обычно нейроны - это некоторые функции от нескольких входных значений: ф(х), х е Rn. При этом важны пороговые функции вида

ф(х) = signum [f(x) - a] либо

ф(х) = sigmoid [f(x) - a].

Сигмоид - непрерывная и даже гладкая функция, близкая к сигнуму.

Используются и переключательные формальные нейроны, то есть булевы. Они таковы, что и на их входе, и на их выходе фигурируют слова в алфавите 0 и 1.

Возможности таких сетей определяются теоремами о полноте соответствующих классов функций. Так, например, следующая теорема о функциональной полноте доказана В.М. Глушко-вым в 1962 году:

Для того, чтобы система нейронов - переключательных булевых элементов - была функционально полной (то есть чтобы их суперпозиции давали бы возможность построения любой булевой функции), необходимо и достаточно, чтобы эта система включала:

- хотя бы одну переключательную функцию, не сохраняющую нуль;

- хотя бы одну переключательную функцию, не сохраняющую единицу;

- хотя бы одну нелинейную функцию;

- хотя бы одну немонотонную переключательную функцию;

- хотя бы одну не самодвойственную переключательную функцию.

Функция называется самодвойственной, если на каждой паре противоположных наборов она принимает противоположные значения.

Ф. Розенблатт построил простейшую нейронную сеть - персептрон, предложил метод её настройки или обучения на материале прецедентов. Он проделал эксперименты по обучению пер-септрона. Выяснилось, что такая сеть имеет весьма ограниченные способности к обучению. Тем не менее, работа Розенблатта принципиально важна: она ознаменовала одно из направлений дальнейших исследований искусственного интеллекта.

2. Специальные классы нейронных сетей

Есть специальный класс нейронных сетей - комитетные сети. Их решающие нейроны построены на логике большинства. То есть на выходе ассоциативного блока сети решающие нейроны производят реакции по большинству выходов.

Анализ и синтез таких сетей основан на теоремах существования комитетов, разделяющих множества. Комитет большинства для системы уравнений и неравенств - это набор элементов такой, что для всякого уравнения и неравенства оно выполняется для большинства элементов комитета. Комитет системы линейных неравенств существует, когда каждая пара неравенств совместна.

Комитет старшинства - такой ранжированный набор нейронов, что его реакция совпадает с реакцией нейрона с наибольшим рангом, если этот нейрон участвует в процессе формирования коллективной реакции. Для каждого элемента вводятся ранг и тип. Тип - это указание на то, за какой класс голосует элемент. Комитет старшинства существует при тех же условиях, что и комитет большинства [1].

Теперь перейдём к языку пороговых функций и предикатов. А именно, рассмотрим методы анализа и синтеза нейронных сетей на языке предикатов.

Предварительно обратимся к алгебраическим истокам теории нейронных сетей, чтобы подчеркнуть фундаментальность применяемого математического аппарата.

В 1847 году вышла важная книга Дж. Буля «Математический анализ логики». Интересны те общие рассуждения, в которых Буль обозначил платформу своих исследований - роль формализации логики. Логика рассматривалась им как чисто формальная система. Буль утверждал, что математика представляется формальной системой, но не содержательной. Однако позже были выявлены весьма полезные смыслы и приложения булевых конструкций. И вообще, формализация имеет свои пределы.

В последующей книге «Исследование законов мышления» Дж. Буль ввёл понятие булевой алгебры. Отсюда пошли исследования решёток как логических систем с заданным бинарным отношением типа < , это отношение рефлексивно, антисимметрично и транзитивно. Отсюда выводятся понятие упорядоченного множества, и затем понятие решётки [2].

Упорядочение происходит от применения бинарного отношения, которое обозначено выше.

Решётка (решёточно упорядоченное множество) это непустое множество с двумя операциями: пересечением и объединением. Причём эти операции коммутативны, ассоциативны и идем-потентны. Кроме того, выполняется закон поглощения. Далее, любые два элемента х и у имеют точную верхнюю грань - объединение х и у - и точную нижнюю грань - пересечение х и у [3].

Понятие решётки позволяет рассмотреть алгебраически тему переключательных функций для исследования нейросетей.

Мы рассмотрим методы анализа и синтеза нейронных сетей, опираясь на работы 1960-х и 2000-х годов [4]. И далее в 2016 году. Нас интересует корректность нейронной сети и её надёжность. Геометрические предикаты, распознаваемые персептроном, изучались Минским и Пей-пертом [5]. Они доказали, что возможности персептрона в распознавании таких свойств фигур на плоскости как связность, выпуклость и т. д. невелики. Более сложно организованные нейронные сети могут иметь большие способности к распознаванию.

Задача распознавания в общем виде есть задача классификации объектов (любой природы). Иными словами, эта задача состоит в целесообразном разбиении множества объектов на классы. При этом в каждый класс входят объекты, в определённом смысле близкие друг к другу, а в разные классы - далёкие.

Распознавание - одна из основных операций мышления.

Далее мы исследуем возможности нейронных сетей в распознавании предикатов - булевых функций, не обязательно соответствующих геометрическим предикатам. При этом оценивание надёжности нейронной сети производится через параметры её устойчивости при наличии дестабилизирующих факторов. Задача синтеза нейронной сети, реализующей данный предикат, заключается в определении величин порога и весов признаков с минимальным значением суммы модулей этих величин. Корректность сети - степень правильности и устойчивости её реакций на элементы обучающей последовательности.

Введём обозначения. Реакция формального нейрона на входы х(1), ..., х(п) такова: для некоторой функции f она равна

f(x(1), ..., x(n)) = f(x).

Нейрон, реализующий переключательную функцию, таков, что на его входе и выходе - слова в алфавите 0, 1.

В то же время классический нейрон есть пороговый элемент:

f(x) = sign[g(x) - b].

Здесь b - величина порога.

Далее, линейный пороговый элемент таков, что

f(x) = sign [(z, x) - b], где (z, x) - скалярное произведение векторов z и x, b - величина порога.

Рассматривая дискретные сети нейронов, будем, не нарушая общности, предполагать, что в них вся входная и преобразуемая информация кодируется словами в алфавите 0, 1.

В дискретной сети на входе появляется слово [x(1)...x(n)] в этом алфавите, это точка в пространстве Rn, а выход таков: f(x(1), ..., x(n)) = 0 или 1. То есть f - булева функция. Известно, что

эта функция представима в виде суперпозиции элементарных булевых функций (логических элементов). Требования к системе логических элементов таковы, чтобы из них можно было получить любую булеву функцию с помощью суперпозиций. В этом случае систему элементарных функций называют функционально полной.

Поставим задачу анализа нейронной сети с весами w(i) и порогом Ь. Она решается через вычисление скалярных произведений х) + Ь на элементах х из материала обучения, w(j) = 1), ..., п)] - вектор весов ассоциативных элементов. Комитетная нейронная сеть такова, что решающие элементы действуют по логике большинства.

Нейронная сеть с логикой старшинства устроена более сложно, и она громоздка, но она непосредственно применима к многоклассовой классификации и она тоже обеспечивает разделимость конечных множеств. В нейронной сети с логикой старшинства элементы имеют ранг и тип. Ранг - это место элемента в комитете, тип - это номер класса, за который этот элемент голосует.

Задача синтеза сводится к решению систем

х) + Ь > 0 для Дх) = 1, х) + Ь < 0 для Д(х) < 0.

Здесь х) - скалярное произведение векторов.

Настраиваются векторы w и пороги Ь, вначале они неизвестны.

Если какая-то из этих систем несовместна, то для неё строим сеть, реализующую комитет большинства или старшинства.

Нейронная сеть состоит из множества вершин - нейронов - и связей между ними. Её строение таково:

? ^ S ^ А ^ ^

где ? - неизвестный нам объект внешней среды, этот объект сенсорным слоем преобразуется в п-мерный вектор, S - сенсорный слой нейронов, А - блок ассоциативных нейронов, R - слой решающих элементов.

В динамической задаче в моменты Ш, и, t2, ... на вход сети поступают слова в алфавите 0, 1. На выходе для данного t получаем слово А^, х1, ..., хп).

Работы С.Н. Черникова [6] и Фань Цзи [7] по линейным неравенствам применимы к анализу дискриминантного анализа, к нейронным сетям и системам, к работе с комплексными признаками. Работы Н.Н. Астафьева [8] применимы к нейронам для бесконечных сетей, то есть для нейронных систем. Мы при этом пользуемся теорией бесконечных систем линейных неравенств. Естественно, что при переходе от конечных систем к бесконечным возникают новые факторы. Так, в статье Хаара [9] для систем

(ч, х) - Ь < 0 ( = 1, 2, ...) содержится ошибочное утверждение об условиях разрешимости этой системы. Это обнаружил С.Н. Черников и сделал исправление. Пусть [д; - вектор коэффициентов j-го неравенства ( = 1, 2, ...). Тогда для существования решения мало условия Хаара, что множество векторов должно быть топологически замкнутым. Оказывается, нужно добавить требование ограниченности множества таких векторов и предположение об устойчивой совместности такого множества.

При комплексных признаках объектов, то есть когда в любых векторах есть комплексные координаты вида а + Ы, в задаче дискриминантного анализа мы используем теорему Фань Цзио существовании решения системы линейных неравенств в комплексном пространстве. В этом случае неравенства должны иметь модульную форму.

В случае бесконечных систем нам приходится использовать поиск систем различных представителей. В конечных задачах этот поиск логически оправдан, а в случае бесконечных систем приходится использовать аксиому выбора. Автор этой аксиомы - Цермело [10].

Кёниг и Холл [11] доказали, что для системы множеств М1, ..., Мк система различных существует тогда и только тогда, когда каждые s множеств содержат в совокупности по меньшей мере s элементов.

Ерёмин и Пацко [12] исследовали фейеровские методы для решения систем линейных неравенств (линейных, выпуклых, произвольных) счётной и континуальной мощности.

Рассмотрим вопрос о возможных погрешностях в нейронных сетях слоистой структуры. Оценка погрешностей полезна для упрощения сети. Зная допустимую погрешность элемента се-

ти, мы можем заменить его более простым, хотя и менее точным, если мы вписываем реакцию сети в заданный интервал. При прямом прохождении сигнала по достаточно большой сети мы можем получить сравнительно малые погрешности результирующей реакции всей сети.

Есть два подхода:

1) построение гарантированных интервальных оценок;

2) построение среднеквадратических оценок.

Классический нейрон - обработка входных для него сигналов есть преобразование во взвешенную сумму, которая затем попадает на нелинейный элемент - сигмоид. После прохождения сигмоида результирующий сигнал попадает в точку ветвления.

Рассмотрим работу обратного распространения ошибки. Начинаем с сигмоида. Он имеет несколько выходов. Для j-го выхода задана допустимая погрешность Aj. Чтобы удовлетворять всем ограничениям погрешности, необходимо и достаточно, чтобы входной сигнал точки ветвления имел погрешность A = min{Ai}.

Следующий с конца элемент - нелинейный преобразователь. Пусть входной сигнал нелинейного преобразователя равен АО, ф - его функция активации и Al - допустимая погрешность выходного сигнала. Вычислим максимальную погрешность входного сигнала нелинейного преобразователя. То есть найдём отрезок [АО - A, АО + A] такой, что для любого х из [АО - A, АО + A] величина у* = ф(х) отличается от у = ф(А1) не более, чем на Al: !y - y*! < Al.

Мы предполагаем, что функция активации дифференцируема.

Тогда легко видеть, что A < Al/max !ф'(х)!, где х - точка из соответствующего отрезка.

Так что х лежит в некотором отрезке [a, b].

В линейном приближении ф(АО + A) = ф(АО) + ф'(АО ) + Aф'(А0).

Продолжая выкладки уже для оценки между двумя слоями, мы получим, что линейное приближение ошибки равно 1/ф'(АО). Мы получаем формулы для погрешности всей сети по методу обратного распространения ошибки.

Если погрешности сигналов являются независимыми случайными величинами, то получаются достаточно точные выходные сигналы нейронной сети.

Заключение

Аппарат нейронных сетей является одним из универсальных и обоснованных. Разработки программных реализаций современных нейронных сетей сложны и опираются на строгие математические утверждения. При этом стоит отметить большое прикладное значение нейронных сетей, как в распознавании образов, в математической экономике и социологии, так и в биологии и медицине.

Статья подготовлена при поддержке РНФ: № 14 - 11 - 00109.

Литература

1. Мазуров, Вл.Д. Метод комитетов в задачах оптимизации и классификации / Вл.Д. Мазуров. - М. : Наука, 1990. - 248 с.

2. Глушков, В.М. Синтез цифровых автоматов / В.М. Глушков. - М. : Физматгиз, 1962. -476 с.

3. Мазуров, Вл.Д. Комитетные конструкции как обобщения решений противоречивых задач исследования операций / Вл.Д. Мазуров, М.Ю. Хачай // Дискретный анализ исследования операций. Серия 2. - 2003. - Т. 10, № 2. - C. 56-66.

4. Хачай, М.Ю. Об одном соотношении, связанном с процедурой принятия решений / М.Ю. Хачай. - ДАН РФ. - 2001. - Т. 381, № 6. - C. 748-752.

5. Минский, М. Персептроны /М. Минский, С. Пейперт. - М. : Мир, 1971. - 262 с.

6. Черников, С.Н. Линейные неравенства / С.Н. Черников. - М. : Наука, 1968. - 488 с.

7. Фань Цзи. О системах линейных неравенств / Фань Цзи // Линейные неравенства и смежные вопросы: сб. - М. : ИЛ, 1959. - 302 с.

8. Астафьев, Н.Н. Линейные неравенства /Н.Н. Астафьев. - Свердловск: Наука, 1982. - 101 с.

9. Haar, A. Ueber lineare Unglei^ungen /A. Haar //A^a Litt. Sáent. Univ. Hung. - 1924. - 2.

10. Zermelo, E. Untersuchungen über die Grundlagen der Mengenlehre / E. Zermelo //Mathematische Annalen. - 1908. - 65. - P. 261-281.

11. Hall, P. On representatives of subsets / P. Hall // Jour. London Math. Soc. - 1935. - 10.

12. Eremin, I.I. Fejerprocesses in solving the infinite systems of linear inequalities / I.I. Eremin, S. V. Patsko // Proceedings of the Steklov Instiute of math. - 2004.

Мазуров Владимир Данилович, д-р физ.-мат. наук, профессор кафедры математической экономики института математики и компьютерных наук, профессор кафедры эконометрики и статистики высшей школы экономики и менеджмента, Уральский федеральный университет им. первого Президента России Б.Н. Ельцина, г. Екатеринбург; [email protected].

Гилёв Денис Викторович, аспирант института математики и компьютерных наук, ассистент кафедры эконометрики и статистики высшей школы экономики и менеджмента, Уральский федеральный университет им. первого Президента России Б.Н. Ельцина, г. Екатеринбург; deni-gilev@

narod.ru.

Поступила в редакцию 15 ноября 2016 г.

DOI: 10.14529/ctcr170113

ANALYSIS AND SYNTHESIS OF NEURAL NETWORKS, SYSTEMS WITH MAJORITY LOGIC AND THE LOGIC OF SENIORITY

V.D. Mazurov, [email protected], D.V. Gilev, [email protected]

Ural Federal University named after the first President of Russia B.N. Yeltsin, Ekaterinburg, Russian Federation

Diagnostics of objects and situations, the choice of solutions - concepts and challenges in the modeling of decision rules of recognition, factor analysis and optimization of parameters of these models. This paper examines conceptual issues of the theory of artificial neural networks, including their correctness and stability. Correctness - ensuring required reactions or small variations of the network or system to input information on a material of training. Sustainability is the preservation of the reactions of a neural network or a small change at small changes of the initial information. Will only consider layered networks - they use superposition functions. Probabilistic methods in this article are not used.

Keywords: neural network, grid, system of linear inequalities, stability.

References

1. Mazurov V.D. Metod komitetov v zadachakh optimizatsii i klassifikatsii [Committees Method in Problems of Optimization and Classification]. Moscow, Nauka Publ., 1990. 245 p.

2. Glushkov V.M. Sintez tsifrovykh avtomatov [Synthesis of Digital Machines]. Moscow, Fizmatgiz Publ., 1962. 486 p.

3. Mazurov V.D., Khachai M.Yu [Committee Constructions as a Generalization of Making Contradictory Problems of Operations Research]. Discrete Analysis Operations Research, Ser. 2, 2003, vol. 10, no. 2, pp. 56-66. (in Russ.)

4. Khachai M.Yu. [On a Relationship Associated with the Decision-Making Procedure]. Reports of Academy of Sience of Russian Federation, 2001, vol. 381, no. 6, pp. 748-752.

5. Minsky M., Papert S. Perseptrony [Perceptrons[. Moscow, Mir Publ., 1971. 262 p.

6. Chemikov S.N. Lineynye neravenstva [Linear Inequalities]. Moscow, Nauka Publ., 1968. 488 p.

7. Fan Ji. O sistemakh lineynykh neravenstv. Vsb. Lineynye neravenstva i smezhnye voprosy [About Systems of Linear Inequalities. In Collection "Linear Unequality and Related Matters"]. Moscow, IL Publ., 1959. 302 p.

8. Astaf ev N.N. Lineynye neravenstva [Linear Inequalities]. Sverdlovsk, Nauka Publ., 1982. 101 p.

9. Haar A. Ueber Lineare Ungleichungen. Acta Litt. Scient. Univ. Hung. 2, 1924.

10. Zermelo E. Untersuchungen über Grundlagen der Mengenlehre, 1908.

11. Hall P. On Representatives of Subsets. Jour. London Math. Soc., 10, 1935.

12. Eremin I.I., Patsko S.V. Fejer Processes in Solving the Infinite Systems of Linear Inequalities. Proceedings of the Steklov Instiute of Math., 2004.

Received 15 November 2016

ОБРАЗЕЦ ЦИТИРОВАНИЯ

FOR CITATION

Мазуров, Вл.Д. Анализ и синтез нейронных сетей, систем с мажоритарными логиками и логиками старшинства / Вл.Д. Мазуров, Д.В. Гилёв // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2017. - Т. 17, № 1. - С. 119-125. DOI: 10.14529Мсг170П3

Mazurov V.D., Gilev D.V. Analysis and Synthesis of Neural Networks, Systems with Majority Logic and the Logic of Seniority. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics, 2017, vol. 17, no. 1, pp. 119-125. (in Russ.) DOI: 10.14529/ctcr170113