Научная статья на тему 'Элементы глобальной оптимизации моделей нейронной сети'

Элементы глобальной оптимизации моделей нейронной сети Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
645
48
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
НЕЙРОННАЯ СЕТЬ / МОДЕЛЬ МАККАЛЛОКА-ПИТСЯ / СИГМОИДАЛЬНЫЙ МЕТОД / ЭЛЕМЕНТЫ ГЛОБАЛИЗАЦИИ НЕЙРОСЕТИ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сурнина Анастасия Олеговна

Представлено подробное описание основных понятий нейронных сетей и рассмотрены одни из первых методов обучения нейросетей. Также в данной работе представлены наиболее актуальные элементы глобализации нейросети.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Элементы глобальной оптимизации моделей нейронной сети»

ней нет повторяющихся столбцов, а графы содержат только одно значение, в качестве первичного ключа как уникального идентификатора строки выступает поле идентификатор записи. Неэффективность такой конструкции не вызывает сомнений, поскольку данные будут дублироваться. Вторая нормальная форма позволяет разобраться с продублированными данными в нескольких столбцах, а третья нормальная форма приведет данные к виду, когда отношения не будут содержать сложных ключей, таким образом получим 4 активных отношений:

1) Идентификатор записи, идентификатор клиента, дата записи, время;

2) Идентификатор клиента, фамилия, имя, номер телефона;

3) Идентификатор услуги, наименование, длительность, стоимость, примечание;

4) Идентификатор записи, идентификатор услуги.

Переход к третьей нормальной форме позволяет избежать аномалий добавления, удаления и редактирования атрибутов.

Таким образом, основные положения для разработки БД подготовлены. Теперь можно определиться с выбором СУБД и реализовать саму БД с пользовательским интерфейсом.

Использование подобных программ не только позволяет облегчить запись, так что потеря клиентов сводится к минимуму, но и при добавлении некоторых функций решать более глобальные задачи, например, статистику посещений, общую оценку предприятия, доход и прибыль предприятия, количество постоянных клиентов, и многое другое. Правильное использование подобной информации приведет к росту эффективности предприятия и повышению его прибыли. Кроме того, данная система не является дорогой в использовании и создании, обслуживании, что позволяет воспользоваться данными возможностями малому бизнесу.

Список литературы

1. Робин Никсон. Создаем динамические веб-сайты с помощью PHP, MySQL,

JavaScript, CSS, HTML5: Питер, 2015. 685 с.

ЭЛЕМЕНТЫ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ МОДЕЛЕЙ НЕЙРОННОЙ СЕТИ Сурнина А.О.

Сурнина Анастасия Олеговна - студент, факультет авионики, энергетики и инфокоммуникаций, Уфимский государственный авиационный технический университет, г. Уфа

Аннотация: представлено подробное описание основных понятий нейронных сетей и рассмотрены одни из первых методов обучения нейросетей. Также в данной работе представлены наиболее актуальные элементы глобализации нейросети. Ключевые слова: нейронная сеть, модель МакКаллока-Пится, Сигмоидальный метод, Элементы глобализации нейросети.

УДК 519.85, 517.977

Введение

В настоящее время практически во всех областях науки необходимо получать, обрабатывать и оптимизировать получаемую информацию, а конкретнее в медицине, бизнесе, технике, геологии и физике.

Затрагивая этот вопрос, мы хотим обратить ваше внимание на основные способности нейросети, а также рассмотрим способ обработки информации и ее реализации (вывода на экран).

Нейронная сеть - это раздел искусственного интеллекта, в котором для обработки сигналов используются явления, которые аналогичны происходящим в нейронах живых существ.

Нейронная система состоит из определенного количества нейронов, соединенных синапсами. То есть каждый нейрон имеет тело, внутри которого расположено ядро, окруженное сомой. Для взаимодействия каждый нейрон имеет два типа отростков: многочисленные тонкие и ветвящиеся дентриды и более толстые аксоны. Входной сигнал поступает через синапсы, а выходной сигнал отводится аксоном через его многочисленные нервные окончания, называемые колатерами [1, 17] .

Вследствие того, что синапсы отличаются друг от друга размерами и возможностями концентрации нейромедиатора вблизи своей оболочки, импульсы одной величины несут разную информацию, проходя через разные синапсы [1, 18]. У синапсов есть 1 параметр — вес. Благодаря ему, входная информация изменяется, когда передается от одного нейрона к другому. Допустим, есть 3 нейрона, которые передают информацию следующему. Тогда у нас есть 3 веса, соответствующие каждому из этих нейронов. У того нейрона, у которого вес будет больше, информация и будет доминирующей в следующем нейроне

Искусственная нейронная сеть (ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма [4].

В результате построения ИНС машина может моделировать, анализировать и запоминать информацию. Благодаря запоминанию ИНС также способна воспроизводить информацию [4].

ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.

Основные причины, почему нейронная сеть оказалась настолько успешной и удобной в применении:

1. Богатые возможности. Нейронные сети - достаточно сильный метод моделирования, который позволяет воспроизводить чрезвычайно сложные зависимости. На протяжении многих лет линейное моделирование было основным методом моделирования в большинстве областей, поскольку для него хорошо разработаны процедуры оптимизации [2].

2. Простота в использовании. Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает представительные данные, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных [2].

3. Минимизация ошибок сети. Благодаря огромному количеству нейронов и межнейронных связей ошибки в срабатывании отдельного нейрона оказываются малозаметными в общей массе взаимодействующих клеток. Из чего следует, что нейронная сеть устойчива к помехам [1].

4. Высокая скорость функционирования. Быстродействие осуществляется благодаря параллельной обработке информации в мозге большим количеством нейронов. По этой причине распознавание образов и звуков или принятие решений в мозгу происходит в очень короткие промежутки времени [1].

33

Достижение такой быстродейственности затруднительно, но максимально приближая параллельность выполнения операций к образцу работы нейронной сети в мозгу, что помогает улучшить скоростные качества ИНС.

Модели и методы обучения нейронов

Нейрон входной сигнал получает через несколько входных каналов. При этом отдельный входной сигнал проходит через соединение, которое имеет определенную интенсивность (или вес); а вес, в свою очередь, соответствует синаптической активности биологического нейрона. С каждым нейроном связано определенное пороговое значение. А величина активации нейрона путем вычитания порогового значения из взвешенной суммы входов. После чего нейрон выполняет нелинейную решающую функцию и передает полученное значение сопряженным нейронам.

Самая простейшей системе входные значения соответствуют 0 или 1и в одной из первых моделей (модель МакКаллока-Пится) нейрон считается бинарным элементом. В модели МакКаллока -Пится выходной сигнал нейрона у1 определяется зависимостью [1, 21].

Уг=/ (!?= lWijxj ( t)+Wi 0) (1)

где X; - входной сигнал, который суммируется с соответствующим весом в сумматоре, потом его сравнивают с пороговым значением ■10

суммарный сигнал является аргументом функции, а функция ДиО называется функцией активации.

В данной модели эта функция является пороговой и имеет вид:

( Л (1 для и > О 1 (и) = ( 0 для и<0 (2)

Коэффициент ^^ в уравнении (1.1) обозначает вес синаптических связей. Если ■^>0, то синапсы в связи возбуждающие, если ■^<0 - тормозящие, а если ■ц=0, то связь между нейронами отсутствует.

Модель МакКаллока-Пится - это дискретная модель, которая позволяет рассчитать состояние нейронов момент времени (1+1) по значениям его входных сигналов в предыдущий момент времени 1. Содержит сумматор взвешенных входных сигналов и нелинейный блок выработки выходных сигналов.

Выбор способа обучения нейрона (обучение заключается в нахождении коэффициентов связей между нейронами) зависит от свойств нелинейной функции, особенно от ее непрерывности. Обучение делится на два вида: обучение с учителем (под надзором) и обучение без учителя [1, 25]. В первом случае помимо входных сигналов, составляющих вектор х, известны желаемые выходные сигналы нейрона составляющие вектор ^ А при обучении без учителя на этапе адаптации нейрона мы не можем предугадать его выходные сигналы. Для реализации такого метода используют такие стратегии как WTA, WTM или обучение по Хеббу.

Сигмоидальный нейрон

Нейрон такого типа имеет структуру, схожую с моделью МакКаллока-Питса, с тем отличием, что функция активации является непрерывной и может выражаться в сигмоидальной униполярной или биполярной функции [1, 27].

Униполярная функция имеет форму

/ М = ^ (3)

Биполярная функция имеет следующую форму

/ (х) = ГапЬ (Рх) (4)

В обеих формах параметр в подбирается пользователем. От его значения зависит форма функции активации. При малых значениях графики очень пологие, по вере возрастания параметра график становиться более пологим.

Важное свойство таких функций заключается в их дифференцируемости. В каждой из двух форм функция имеет колокообразную функцию.

Сигмоидальный нейрон обучается с учителем, по принципу минимизации целевой функции (ЦФ). ЦФ для единичного обучения кортежа имеет вид [1, 28].

E=\(yi-di) 2 , где (5)

Vi=f (Mi)=f (27= о wijxj) , (6)

x=[x0, xb ..., xN]T входной вектор, где x0=1 при наличии поляризации и x0=0 при ее отсутствии. di - ожидаемое значение на выходе.

Благодаря использованию непрерывной функции активации, возможно, использовать при обучении градиентные методы, что гарантирует достижение только локального минимума. Однако при полимодальной целевой функции, найденный локальный минимум может быть довольно далеко от глобального минимума. Используя простейший алгоритм наискорейшего спуска стоит помнить, что выход за окрестности локального минимума невозможен. В результате чего обучение может оказаться с моментом или разбросом. В данном методе процесс уточнения весов определяется как информацией о градиенте функции, так и фактическим трендом изменений весов. Такой способ обучения определяется следующим математическим выражением [1, 31]:

AWij (t + 1 ) = -r]SiXi+о AWij (t) (7) в котором первый член является обычным методом наискорейшего спуска, а второй соответствует моментом, который отражает последнее изменение весов и не зависит от значения градиента. В этом выражении а коэффициент момента и выбирается в пределе 0<а<1. Влияние момента тем больше, чем ближе к локальному минимуму.

Также необходимо отметить, что показатель момента не должен доминировать в процессе обучения, иначе это приведет к нестабильности (расходимости) алгоритма.

Элементы глобальной оптимизации

При рассмотрении обучения нейронных сигмоидальных сетей необходимо учитывать, что решая простые технические задачи, возможно, получить большое количество локальных минимумов [1, 75]. В результате чего может возникнуть проблема обучения систем, так как множество локальных минимумов осложняют процесс обучения и представляют собой ловушки на пути к глобальному минимуму, в котором целевая функция принимает наименьшее значение. В случае с использованием линейной функции активации, график зависимости целевой функции от весов w0 и wij принимает вид выпуклой кривой с единственным минимумом, который можно легко рассчитать по начальным условиям обучения [1, 77].

Данный пример иллюстрируют простую техническую задачу, при которой возможно использование только одного нейрона. При увеличении же нейронной сети создается гораздо больше сложностей, так как количество локальных минимумов возрастает [1, 76].

Представленный в данной статье метод обучения сети является локальным. Данный метод ведет к одному из локальных минимумов целевой функции, который лежит в окрестности точки от начала обучения. В случае же, когда известно значение глобального минимума, возможно, оценить, находится ли локальный минимум в необходимой близости от искомого решения. Если полученное решение является неудовлетворительным, то процесс обучения стоит повторить при других значениях весов с другими управляющими параметрами. В результате полученное решение можно «опустить», то есть начать обучение «с чистого листа» при новых значениях весов, либо случайным образом изменить значение и продолжать обучение сети. Последний метод называется «jog of weights», и является более оптимальным потому, что позволяет использовать ранее найденные значения для дальнейшего обучения.

Стоит также обратить внимание, что случайный выбор значения весов, применяемый в начале обучения, также используется для вывода решения из зоны локального минимума. Однако при введении случайных поправок к ранее найденному решению, может привести к возмущению весов. Но такое решение не вызывает длительной потери

предыдущих результатов обучения. Также можно отметить, что сеть способна «запоминать» наилучшие результаты и после кратковременной амнезии быстро восстанавливается, а впоследствии и улучшает предыдущие показатели [1, 76].

При решении же реальных технических, экономических задач в общем случае даже приблизительная оценка глобального минимума остается неизвестной. Именно по этой причине применяют методы глобальной оптимизации. Из множества разработанных подходов стоит обратить особое внимание на два более применимых в последнее время:

1. Метод имитации ожога. Он отражает поведение материального тела при отвердевании применением процедуры ожога [1, 78].

2. Генетические алгоритмы. Эти процессы имитируют процессы наследования свойств живыми организмами и генерируются последовательности новых векторов w, которые содержат оптимизированные переменные [1, 81].

Список литературы

1. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2004. 17-81 с.

2. StatSoft. Электронный учебник по статистике // Нейронные сети. [Электронный ресурс]. Режим доступа: http://statsoit.ru/home/textbook/modules/stneunet.html_conte nt/ (дата обращения: 17.02.2017).

3. Нейронные сети для начинающих. [Электронный ресурс]. Режим доступа: https://habrahabr.ru/post/312450/ (дата обращения: 18.02.2017).

4. Википедия. Искусственная нейронная сеть. [Электронный ресурс]. Режим доступа: https://ru.wikipedia.org/wiki/Искусственная_нейронная_сеть/ (дата обращения: 17.02.2017).

ИНФОРМАЦИЯ - ОСНОВА РАЗВИТИЯ ОБЩЕСТВА

Попова П. П.

Попова Полина Петровна - студент, кафедра информационных систем и технологий, факультет заочного обучения, Поволжский государственный университет телекоммуникаций и информатики, г. Самара

Аннотация: в статье анализируется понятие информации как основополагающей составляющей современного общества. Также изучены труды советских и зарубежных ученых и выделены четыре фундаментальные черты формирующегося информационного общества.

Ключевые слова: информация, общество, технологии.

На данном этапе становления современного общества человеку необходимы не только материальные и энергетические ресурсы, но и информационные, так как сейчас информационные потоки характеризуются небывалым ростом в объемах. Наибольший рост наблюдается в банковской, образовательной и торговой сферах.

Информация является объектом исследовательских интересов с конца 1940-х годов, когда об информации как самостоятельной категории заговорили кибернетики. В работах К. Шеннона, посвященных теории связи, была создана основа для разработки теории информации, но при этом исследовались лишь ее технические и количественные параметры. В теории Шеннона основное внимание уделяется физической стороне процесса передачи сигналов и, естественно, отсутствует семантическое рассмотрение информации, закодированной в сигналах [1]. Дальнейшее научное осмысление понятия

i Надоели баннеры? Вы всегда можете отключить рекламу.