CC BY
103
Мицель Артур Александрович
Д-р техн. наук, профессор кафедры автоматизированных систем управления ТУСУРа Телефон: (3822) 41 31 57 Эл. почта: [email protected]
A.A. Mitsel, E.B. Gribanova
Computer simulation modeling of economic objects
In this article the computer system of simulation modeling of economic objects is considered.
The system includes fifteen models of different economic objects. The example of model of monitoring
of market and results of modeling are given in the article.
УДК 519. 86
А.А. Мицель, Е.А. Ефремова
Методы предобработки входных данных для системы прогнозирования финансовых временных рядов
В данной статье рассмотрены некоторые методы предобработки входных данных для системы прогнозирования финансовых временных рядов с использованием аппарата нейронных сетей.
Согласно теории «эффективного» рынка, изложенной в диссертации Луи де Башелье (L. Bachelier) в 1900 г., инвестор может надеяться лишь на среднюю доходность рынка, оцениваемую с помощью индексов, таких как Dow Jones или S&P500 для Нью-Йоркской биржи, РТС или ММВБ для российских бирж. Всякий же спекулятивный доход носит случайный характер и подобен азартной игре на деньги. В основе непредсказуемости рыночных кривых лежит та же причина, по которой деньги редко валяются на земле в людных местах: слишком много желающих их поднять. Теория эффективного рынка не разделяется самими участниками рынка. Большинство из них уверено, что рыночные временные ряды, несмотря на кажущуюся стохастичность, полны скрытых закономерностей, то есть, в принципе, хотя бы частично предсказуемы. Такие скрытые эмпирические закономерности пытался выявить в 1930-х годах в серии своих статей основатель технического анализа Элиот [1].
В 1980-х годах неожиданную поддержку эта точка зрения нашла в незадолго до этого появившейся теории динамического хаоса. Эта теория построена на противопоставлении хаотичности и стохастичности (случайности). Хаотические ряды только выглядят случайными, но как детерминированный динамический процесс вполне допускают краткосрочное прогнозирование [2]. Область возможных предсказаний ограничена по времени горизонтом прогнозирования, но этого может оказаться достаточно для получения реального дохода от предсказаний. И тот, кто обладает лучшими математическими методами извлечения закономерностей из зашумленных хаотических рядов, может надеяться на большую норму прибыли — за счет игроков, не обладающих этими методами.
Использование нейронных сетей для анализа финансовой информации является альтернативой (или дополнением) традиционных методов исследования, таким как статистический анализ и экспертный анализ технических индикаторов и фундаментальных показателей. В силу своей адаптивности одни и те же нейронные сети могут использоваться для анализа нескольких инструментов и рынков, в то время как найденные игроком для конкретного инструмента закономерности из области технического анализа могут работать хуже или не работать вообще для других инструментов [3].
Допустим, что в результате перевода всех данных в числовую форму и последующей нормировки все входные и выходные переменные отображаются в единичном кубе.
Задача нейросетевого моделирования — найти статистически достоверные зависимости между входными и выходными переменными. Единственным источником информации для статистического моделирования являются примеры из обучающей выборки. Чем больше битов, информации принесет каждый пример тем лучше используются имеющиеся данные.
Рассмотрим произвольную компоненту нормированных (предобработанных) данных: xt. Среднее количество информации, приносимой каждым примером xf , равно энтропии
распределения значений этой компоненты Н(х)г. Если эти значения сосредоточены в относительно небольшой области единичного интервала, информационное содержание такой компоненты мало. В пределе нулевой энтропии, когда все значения переменной совпадают, эта переменная не несет никакой информации. Напротив, если значения переменной х* равномерно распределены в единичном интервале, информация такой переменной максимальна [3].
Таким образом, общий принцип предобработки данных для обучения состоит в максимизации энтропии входов и выходов. Этим принципом следует руководствоваться и на этапе кодирования нечисловых переменных.
Индивидуальная нормировка данных
Как входами, так и выходами нейросети могут быть совершенно разнородные величины. Результаты нейросетевого моделирования не должны зависеть от единиц измерения этих величин. А именно, чтобы сеть трактовала их значения единообразно, все входные и выходные величины должны быть приведены к единому — единичному — масштабу. Кроме того, для повышения скорости и качества обучения полезно провести дополнительную предобработку данных, выравнивающую распределение значений еще до этапа обучения.
Приведение данных к единичному масштабу обеспечивается нормировкой каждой переменной на диапазон разброса ее значений. Гораздо надежнее ориентироваться при нормировке не на экстремальные значения, а на типичные, то есть статистические характеристики данных, такие как среднее и дисперсия:
х,_Х-
х, = ■
а,
1 п
* =1X
а? =
а=1
1 п
п _ 1 а=1
1)2
I = 1,..., Р .
(1)
В этом случае основная масса данных будет иметь единичный масштаб, то есть типичные значения всех переменных будут сравнимы.
Но нормированные величины не принадлежат гарантированно единичному интервалу, более того, максимальный разброс значений х* заранее не известен. Для входных данных это может быть и не важно, но выходные переменные будут использоваться в качестве эталонов для выходных нейронов. Чтобы установить соответствие между обучающей выборкой и ней-росетью в этом случае, необходимо ограничить диапазон изменения переменных [3].
Линейное преобразование неспособно пронормировать основную массу данных и одновременно ограничить диапазон возможных значений этих данных. Естественный выход из этой ситуации — использовать для предобработки данных функцию активации тех же нейронов. Например, нелинейное преобразование
РИ
Уг = 1
(х,_х ^
(2)
1
нормирует основную массу данных,
0
0,2
0,4
0,6
0,8
Рис. 1 — Нелинейная нормировка, использующая логистическую
функцию активации 1 (а) =-1-
1 + е~а
где 1(а) = а
1 + е
одновременно гарантируя, что уг е[0,1] (рис.1).
Распределение значений после такого нелинейного преобразования гораздо ближе к равномерному распределению.
Максимизация энтропии каждого входа (выхода) по отдельности дает многое, но гораздо большего можно добиться, максимизируя их совместную энтропию [3].
Совместная нормировка: «выбеливание» выходов
Если два входа статистически независимы, то их совместная энтропия меньше суммы индивидуальных энтропий:
Н(х1х; ) < Н(х1 ) + Н(х; ). (3)
а
х
сь
Поэтому, добившись статистической независимости входов, можно повысить информационную насыщенность входной информации. Это потребует более сложной процедуры нормировки входов — «выбеливания» входов.
Вместо того, чтобы использовать для нормировки индивидуальные дисперсии, рассматривают входные данные в совокупности. Необходимо найти такое линейное преобразование, которое максимизировало бы их совместную энтропию. Для упрощения задачи вместо более сложного условия статистической независимости потребуем, чтобы новые входы после такого преобразования были декоррелированы. Для этого рассчитаем средний вектор и ковариационную матрицу данных по формулам
X = n X *т, D = хха-*?) i,j = p • (4)
n а=1 n 1 a=l
Затем найдем линейное преобразование, диагонализующее ковариационную матрицу. Соответствующая матрица составлена из столбцов — собственных векторов ковариационной матрицы:
DU = иЛ , (5)
где U = (ui,...,up) — нормированная матрица собственных векторов и.,...,up , то есть
p 2
X uki = 1, i = 1,...,n ; Л = diag(Xr,...,Xp) — матрица собственных чисел.
k=i
Введем преобразование, называемое «выбеливанием» (whitening):
p (xk - Xk) 1 T . ,
zi = X k ^ uki = ^= (u ■xЬ i = 1,•••,p , (6)
=1 -Jh kl уЩ
к=1
где — собственное число, соответствующее собственному вектору щ [4].
Можно убедиться, что это преобразование превратит все входы в некоррелированные величины с нулевым средним и единичной дисперсией. Покажем это, введем элементы
юг = и диагональную матрицу О = diag(ю1,...,юр) .
Запишем соотношение (6) в матричной форме г = ОПт х , где Пт - транспонированная матрица собственных векторов матрицы ковариации В.
Вычислим матрицу М[ггт ], где М[«] — оператор математического ожидания. Имеем
т т т
М[гг ] = М[ОП хх ПО] = ОП ВПО. Отсюда, с учетом (5) и условия ортогональности матрицы П, получим ОПтБПО = ОАО = I.
То есть ковариационная матрица вектора г является единичной, что и требовалось доказать.
Такое преобразование увеличивает совместную энтропию входов, так как оно выравнивает распределение данных в обучающей выборке.
Понижение размерности входов методом главных компонент
Один из наиболее простых и распространенных методов понижения размерности — использование главных компонент входных векторов. Этот метод позволяет, не отбрасывая конкретные входы, учитывать лишь наиболее значимые комбинации их значений.
Назовем первой главной компонентой исследуемой совокупности наблюдений линейную комбинацию р исходных данных
V = х1 - х1, и2 = х2 - ..., ир = хр - Хр, ?1 = X Ькик1 = (1 • V), (7)
к=1
которая среди всех других линейных комбинаций и1,и2,...,ьр обладает наибольшей дисперсией.
В общем случае г-й главной компонентой исследуемой совокупности наблюдений (Ь = 1,...,р) будем называть линейную комбинацию р исходных данных Ч
Яь = Иикик1 =(1 •и), (8)
к=1
которая среди всех других линейных комбинаций, не коррелированных со всеми предшествующими главными компонентами q1,..., qi_1 , обладает наименьшей дисперсией.
Нетрудно показать, что матрица ковариации векторов q = (51,..., qp )т будет диагональ-
т т т т
ной, т.е. cov(qiqj) = 0 для всех I ф ] . Действительно, М^ ] = М[Ю ии и] = и ЕЮ = Л . Собственные числа матрицы ковариаций являются квадратами дисперсий вдоль ее главных осей. Поэтому первая главная компонента соответствует максимальному собственному
числу, вторая главная компонента соответствует следующему в порядке убывания собствен-
р р
ному числу и т.д. Можно показать, что ^ Хк = ^ йш , где = ст^ — дисперсия й-го наблюдения. к=1 к=1
Выразим исходные переменные и1,и2,...,ьр через главные компоненты в матричной
р
форме, учитывая (8): V = ^ qfrU.fr .
й=1
Рассмотрим отношение
X, + Х2 +... + Хт
а(т) =х1 +Х22 +... + С ' т <р. (9)
Если между входами существует линейная зависимость, некоторые из этих собственных чисел стремятся к нулю. Таким образом, наличие малых свидетельствует о том, что реальная размерность входных данных объективно ниже, чем число входов. Можно задать некоторое значением т и ограничиться лишь главными компонентами с номерами I < т. Тем самым достигается понижение размерности входов при минимальных потерях точности представления входной информации. На рис. 2 показана зависимость а(т) от количества собственных векторов. Видно, что сокращение размерности пространства с р = 10 до р = 3 уменьшает суммарную дисперсию всего на 10 % [4].
Понижение размерности входов с помощью нейросетей
Для более глубокой предобработки входов можно использовать все богатство алгоритмов самообучающихся нейросетей [3]. В частности, для оптимального понижения размерности входов можно воспользоваться методом нелинейных главных компонент (рис. 3).
а и
Рис. 2 — Зависимость а(т) от количества собственных векторов
Рис. 3 — Понижение размерности входов методом нелинейных главных компонент
Такие сети с узким горлом также можно использовать для восстановления пропущенных значений — с помощью итерационной процедуры, обобщающей линейный вариант метода главных компонент [3].
Достоинством нейроанализа является возможность получения предсказаний при минимуме априорных знаний. Поскольку заранее обычно неизвестно, насколько полезны те или
иные входные переменные для предсказания значений выходов, возникает соблазн увеличивать число входных параметров в надежде на то, что сеть сама определит, какие из них наиболее значимы. Но следует учитывать тот факт, что сложность обучения персептронов быстро возрастает с ростом числа входов (а именно как куб размерности входных данных). Кроме того, с увеличением числа входов страдает и точность предсказаний, так как увеличение числа весов в сети снижает ее предсказательную способность.
Таким образом, количество входов приходится довольно жестко лимитировать, и выбор наиболее информативных входных переменных представляет важный этап подготовки данных для обучения нейросетей.
Литература
1. Акелис С. Технический анализ от А до Я.- М: Высшая школа, 1998. - 236 с.
2. Швагер Д. Технический анализ. Полный курс. - М: Альпина, 2000. - 768 с.
3. Ежов А. А., Шумский С. А. Нейрокомпьютинг и его применения в экономике и бизнесе. - М.: МИФИ, 1998 - 222 с.
4. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974. - 239 с.
Ефремова Елена Александровна
Аспирантка кафедры автоматизированных систем управления ТУСУРа
Телефон: (3822) 41 34 54
Эл. почта: [email protected]
Мицель Артур Александрович
Д-р техн. наук, профессор кафедры автоматизированных систем управления ТУСУРа Телефон: (3822) 41 34 54 Эл. почта: [email protected]
A.A. Mitsel, E.A. Efremova
Methods of preconditioning data input for system of forecasting оf financials time series
This article describes some of methods and specificity of preconditioning data input for system of forecasting оf financials time series by using neural network.
УДК 519.863:658.7
А.А. Мицель, О.В. Каштанова, И.И. Дворянидова
Оптимизационные модели выбора исполнителя заказа на поставку товаров и услуг с учетом интересов заказчика и поставщика
В статье рассмотрена задача выбора поставщиков товаров и услуг при проведении конкурса закупок для государственных учреждений. Предложены две оптимизационные модели, учитывающие интересы заказчика и поставщиков. Интересы заказчика учитываются с помощью матрицы рейтинга. Матрица рейтинга формируется на основе балльной методики. Показана работоспособность моделей на примере.
Введение
Одним из следствий бурного развития рыночных отношений в России стал резкий рост уровня конкуренции по всем направлениям коммерческой деятельности. Специалистам по продажам приходится максимально активно использовать все классические приемы маркетинга, стараясь захватить наиболее перспективные сегменты рынка. Также все чаще мы
