Сходимость ортогонального жадного алгоритма с ошибками в проекторах Текст научной статьи по специальности «Математика»

3. Лиггетт Т. Марковские процессы с локальным взаимодействием. М.: Мир, 1989.

4. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977.

5. Whitt W. Weak convergence of probability measures on the function space C[0, ж) // Ann. Math. Statist. 1970. 41, N 3. 939-944.

6. Дынкин Е.Б., Юшкевич А.А. Теоремы и задачи о процессах Маркова. М.: Наука, 1967.

7. Вентцель А.Д. Курс теории случайных процессов. М.: Наука, 1975.

Поступила в редакцию 14.12.2011

УДК 517

СХОДИМОСТЬ ОРТОГОНАЛЬНОГО ЖАДНОГО АЛГОРИТМА С ОШИБКАМИ В ПРОЕКТОРАХ

Н. Н. Федотов1

В статье предложена модель, позволяющая учитывать вычислительные ошибки, возникающие при реализации ортогонального жадного алгоритма, и исследовать устойчивость ортогонального жадного алгоритма к ошибкам, связанным с проектированием на подпространство. Установлены условия на ошибки, необходимые и достачные для сходимости ортогональных жадных аппроксимаций к приближаемому элементу.

Ключевые слова: жадный алгоритм, нелинейная аппроксимация, сходимость, устойчивость.

A model of orthogonal greedy algorithm is proposed. This model allows one to consider computational errors and to study the stability of this algorithm with respect to errors in projections onto subspaces. A criterion for the convergence of orthogonal greedy expansion to the expanded element is given in terms of computational errors.

Key words: greedy algorithm, nonlinear approximation, convergence, stability.

Введение. Использование жадного подхода в работах по статистике (см., например, [1, 2]) и теории передачи сигналов [3] в 1980-х гг. привело в дальнейшем к активному исследованию общей теории жадных приближений в гильбертовых пространствах (см., в частности, [4-7]). Наиболее обстоятельно изучались два типа таких приближений — чисто жадный алгоритм (PGA) и ортогональный жадный алгоритм (OGA).

Одним из рассматривавшихся вопросов является устойчивость соответствующих алгоритмов к вычислительным погрешностям. При этом для чисто жадных алгоритмов исследована проблема устойчивости как к ошибкам в выборе приближающих элементов [5], так и к ошибкам в вычислении коэффициентов [6, 7]. Для ортогональных жадных алгоритмов изучалась лишь задача об устойчивости к погрешностям в выборе элементов словаря [5, 8].

В данной работе предложена модель, позволяющая учитывать ошибки проектирования, возникающие при реализации ортогонального жадного алгоритма, и исследовать устойчивость ортогонального жадного алгоритма к этим ошибкам. Установлены условия на ошибки, необходимые и достачные для сходимости ортогональных жадных аппроксимаций к приближаемому элементу.

Определения и основные результаты. Рассмотрим действительное гильбертово пространство H со скалярным произведением (•, ■). Множество D С H будем называть словарем, если норма всех элементов D равна единице и замыкание линейной оболочки D совпадает с H.

Напомним определение ортогонального жадного алгоритма (см., например, [4]). Пусть D — словарь в H, f — произвольный элемент H. Индуктивно определим последовательность аппроксимантов {Gk}д!= 0 и последовательность остатков }<j=o, а также последовательность элементов словаря {ekи последовательность вложенных подпространств {Hk}^=о.

1. Положим ro = f, Ho = {0} и Go = 0.

Федотов Никита Николаевич — студ. каф. математического анализа мех.-мат. ф-та МГУ, e-mail: [email protected]. 11 ВМУ, математика, механика, №1

2. Если уже известны rn, Hn и Gn для некоторого целого неотрицательного n, то выберем элемент словаря en+i, удовлетворяющий условию

|(rn,en+i)| = sup |(rn,e)|,

и положим

Hn+1 = <ei,...,en+i >, Gn+1 = Ргяп+1 (f), rn+i = f — Gn+i,

где Prнк — оператор ортогонального проектирования на подпространство H^.

Определение. Описанный выше алгоритм построения аппроксимантов Gn называется ортогональным жадным алгоритмом (OGA), а n-членная линейная комбинация Gn элементов словаря называется n-й ортогональной жадной аппроксимацией элемента f по словарю D.

В. В. Дубининым [9] была установлена сходимость ортогональных жадных аппроксимаций к приближаемому элементу для всех словарей D и элементов f £ H. Р. А. Де Вором и В.Н. Темляковым [4] для некоторого естественного класса элементов (а именно класса Ai(D)) в произвольном гильбертовом пространстве была получена оценка сверху на скорость сходимости. Из этой оценки и результатов С. Б. Стечкина [10] и А. Бэррона [11] следует оптимальность ортогонального жадного алгоритма на упомянутом классе. Перечисленные выше результаты свидетельствуют о высокой значимости ортогональных жадных приближений для приложений.

Однако при реализации метода важным является вопрос о его устойчивости к вычислительным погрешностям. В случае ортогонального жадного алгоритма они обусловлены выбором элементов en+i и вычислением проекций Ргяп+1 (f).

Учет первого типа погрешностей может быть осуществлен введением ослабляющих последовательностей {tn}£= и {{n(tn £ (0; 1], {n £ [0;+го)): требование

|(rn,en+i)| = sup |(rn, e)|

e€D

при этом заменяется на требование

|(rn,en+i)| ^ tn+i sup |(rn, e)| - {n+i-

e€D

Последовательность {tnмоделирует ошибки, связанные с выбором элементов словаря, в терминах относительных величин, а последовательность {{n}^=i — в терминах абсолютных. Подход, в котором используется ослабляющая последовательность {tn}^=i, был предложен В.Н. Темляковым [5]. Возможность задавать ослабление в терминах абсолютных величин {{n}^=i впервые появилась в работе В.В. Галатенко и Е.Д. Лившица [6].

Метод построения аппроксимантов Gn, который получился из ортогонального жадного алгормитма описанной заменой требования на выбор элементов en+i £ D, называется слабым ортогональным жадным алгоритмом (WOGA), а n-членные линейные комбинации Gn элементов словаря, которые возникают при реализации слабого ортогонального жадного алгоритма, называются n-ми слабыми ортогональными жадными аппроксимациями элемента f по словарю D.

В работе В.В. Галатенко (см. [8]) было приведено условие, характеризующее устойчивость ортогональных жадных приближений к ошибкам в выборе элементов словаря.

те

Теорема 1 [8]. Пусть ряд ^ (Ctn — {n)+ расходится для каждого положительного C ((x)+ =

n=i

(max{x;0})2). Тогда слабые ортогональные жадные приближения сходятся в точности к приближаемому элементу для всех f £ H.

Условие теоремы 1 не может быть ослаблено даже тогда, когда словарь D ортогонален. В случае {n = 0 теорема 1 эквивалентна теореме 2 работы В.Н. Темлякова [5].

В данной статье рассматривается стандартный для теории жадных алгоритмов случай постоянных ошибок в выборе элементов словаря: считается, что для всех натуральных индексов n справедливы равенства tn = t, {n = 0 (t £ (0; 1); интервал (0; 1) может быть заменен на полуотрезок (0; 1], но тогда следует дополнительно потребовать реализуемости ортогонального жадного алгоритма, которая может нарушаться из-за недостижимости sup |(rn, e)|). Заметим, что для таких ослабляющих последовательностей условие

e€D

теоремы 1 очевидно верно.

Устойчивость ортогональных жадных алгоритмов к ошибкам в вычислении проекций Pr_Hn+i (f) ранее не изучалась. Более того, отсутствовала формальная модель, позволяющая учитывать эти ошибки.

Соответствующая модель может быть описана таким образом. Введем последовательность {gn}X=i векторов абсолютных ошибок при проектировании. Выбрав на (n + 1)-м шаге элемент en+i, положим

Hn+i = < ei,..., era+i >, Gra+i = PrHn+i (f) + gn+i, rn+i = f - Gn+i.

Полученный процесс будем называть слабым ортогональным жадным алгоритмом с абсолютными ошибками в проекторе. При практической реализации ортогонального жадного алгоритма точные значения векторов ошибок gn, конечно, неизвестны, однако за счет выбора методов реализации проектирования могут быть получены оценки сверху на нормы ||gn||.

В дальнейшем будем считать, что при всех значениях n (n G N) вектор ошибки gn лежит в подпространстве Hn. Это предположение является естественным, так как операция ортогонального проектирования на Hn состоит в поиске коэффициентов при векторах ek (k G {1,... ,n}) и ошибки в вычислении этих коэффициентов как раз приводят к возникновению погрешности gn.

Устойчивость ортогональных жадных алгоритмов к ошибкам в вычислении проекций может быть охарактеризована следующей теоремой.

Теорема 2. Для всякого гильбертова пространства H, для любого словаря D С H и элемента f G H слабое ортогональное жадное приближение с абсолютными ошибками {gn }Х= i сходится к приближаемому f тогда и только тогда, когда ||gn|| ^ 0 (n ^ ж).

Для словарей специального вида теорема 2 допускает некоторое уточнение. Для его формулировки приведем сначала необходимое определение.

Определение. Для словаря D гильбертова пространства H величину

v(D) = inf sup |(М)|2,

heSe deD

где Se = {h G H | ||h|| = 1} — единичная сфера в H, будем называть емкостью словаря.

Заметим, что из неравенства Коши-Буняковского-Шварца немедленно следует тривиальная оценка 0 ^ v(D) ^ 1. Кроме того, для D = Se емкость равна единице; в Rn для ортогональных словарей

z/(D) = —=] в i2 для ортогональных словарей z/(D) = 0. n

Теорема 3. Пусть для словаря D гильбертова пространства H справедливо условие v(D) = 5 > 0. Тогда если limsup ||gk ||2 = c, то имеет место оценка

k^x

c

limsup ||rfc||2 < --.

k^x £ 5

Как и при выборе элементов словаря, учет ошибок в вычислении проекции может быть осуществлен не только в терминах абсолютных, но и в терминах относительных величин. Для этого может использоваться следующая модель. Обозначим через Er^: H ^ L оператор ошибки при проектировании на замкнутое подпространство L С H. Будем считать, что, во-первых, оператор Er^ линейный и, во-вторых, для всякого l G L верно равенство Er^(l) = 0. Выбрав на (n + 1)-м шаге элемент en+i, положим

Hn+i = < eb en+i >, Gn+i = (PrHn+i + ErHn+0 (rn) + Gn rn+i = f — Gn+i.

Полученный итерационный процесс будем называть слабым ортогональным жадным алгоритмом с относительными ошибками в проекторе. Ясно, что при его реализации точный вид операторов Er#n неизвестен, однако исходя из конкретных методов проектирования можно оценить нормы ||Er_Hn ||. Так как для h G H имеет место тривиальная оценка ||Er^(h) | ^ ||Erl||h|, то 11Erl| и характеризует относительную величину ошибки, допускаемой при проектировании.

Теперь предъявим явную связь между моделью с абсолютными ошибками и моделью с относительными ошибками. В случае последней по индукции легко показать, что Gn G Hn С Hn+i для всех натуральных n, т.е. Gn = PrHn+1 (Gn). Следовательно, верна следующая цепочка равенств:

Gn+i = (PrHn+1 + ErH„+0 (rn) + PrHn+1 (Gn) = PrH„+i (Gn + rn) + ErHn+1 (rn) = PrHn+1 (f) + ErHn+1 (rn).

Таким образом, слабые ортогональные жадные приближения с относительными ошибками совпадают со слабыми жадными приближениями с абсолютными ошибками, для которых ошибки равны Er#„+1 (rn).

Условия, достаточные для сходимости слабых ортогональных приближений с относительными ошибками, имеют следующий вид.

Теорема 4. Пусть v(D) > 0 и lim sup ||Егнк ||2 < t2v(D). Тогда для произвольного элемента f G H

его слабые ортогональные приближения с относительными ошибками при проектировании сходятся в точности к приближаемому элементу.

Приведем теперь доказательства теорем 2-4.

оо

Доказательство теоремы 2. Пусть ||gn|| ^ 0 при n ^ то. Положим Ho = (J Hn. Так как Hn —

n=1

последовательность вложенных подпространств, то

||Gn+1 - PrHo (f )|| = ||Ргн„+1 (f) + gn+1 - PrHo (f )|| < ||Ргн„+1 (f) - PrHo (f )|| + |gn+i| ^ 0 (n ^ то).

То есть сходятся к Ргн0 (f), а значит, остатки rn сходятся к разности f — Ргн0 (f). Обозначим эту разность через r.

Предположим, что r = 0. В силу полноты словаря найдется такой элемент do G D, что |(r, do)|2 = а > 0. Значит, существует такое натуральное число N, что для любого k > N справедливо неравенство

sup|(rfc,d)|2 ^\(rk,do)\2 > (1)

deD 2

Обозначим через fk+1 разность f — Prnfc+1 (f). Тогда

fk+1 = f - PrHfc+1(f) ± gk+1 G Hk+i- (2)

Кроме того,

|<Гк,ek+1)|2 ^ t2 sup |<Гк, d)|2. (3)

deD

Из формул (1)-(3) следует, что для произвольного k > N справедлива оценка

||rk+1||2 = ||fk+1 - gk+1|2 = ||fk+1||2 + ||gk+1|2 < ||rk - <Гк,вк+1)вк+1|2 + ||gk+112 = " -\{rk,ek+1)\2 + Ь+1||2 < ||rfc||2 - t2 sup \{rk,d)\2 + ||5fc+1||2 < ||rfc||2 - t+ ||5fc+1||2. (4)

de D

2

Так как ||$к||2 ^ 0 при к ^ то, то существует такое М > N, что для всякого к > М выполняется неравенство ||5,а;+1||2 < а кРоме того, справедлива оценка (4). Значит,

||^+1||2 < \\гк\\2 - ^ < ... < \\гм+Л2 ~ - М) - -то (Л - то).

Полученное противоречие показывает, что г = 0, и, значит, имеет место сходимость к приближаемому элементу.

Предположим теперь, что условие ||$к|| ^ 0 (к ^ то) не выполнено: limsup ||$к||2 = е > 0. Тогда из

к^те

формулы (2) следует, что

1^ир 11Гк||2 = limsup ||гк - ||2 = limsup(|ffc||2 + ||#к||2) ^ limsup ||#к||2 = е > 0.

Таким образом, в данном случае слабый ортогональный алгоритм с абсолютными ошибками в проекторе не сходится к приближаемому элементу, что говорит о необходимости условия ||$к || ^ 0. Теорема доказана.

Доказательство теоремы 3. Из определения верхнего предела имеем: для любого е > 0 существует такое М £ М, что при всех к > М выполняется неравенство ||$к||2 < с + е. Тогда, действуя так же, как в выкладке (4) при доказательстве теоремы 2, получаем, что для всех к > М справедлива оценка

||Гк+1||2 < ||Гк ||2 - t2 sup |<Гк, d)|2 + ||gk+1|2 = ||Гк ||2 - t2|rk ||2 sup

d D d D

Гк d

+ ||gk+1||2 <

<

(1 - t2v(D)) + ||gfc+1||2 < ||rfcУ2 (1 - t2£) + (c + e)

Повторяя эту оценку для индексов M + 2,M + 3,...,k, имеем

|rfc+i|2 < ||гм+1|2 (1 - t2*)k-M + (c + e) £ (1 - t2*)n < ||гм+1|2 (1 - t2*)k-M +

k-M-1

n=0

алк-м I c + e

14'

Устремив к к бесконечности, аек нулю, получаем limsup ||г^||2 ^ -^т. Теорема доказана.

fc^x £ "

Доказательство теоремы 4. В силу условий limsup ||Егяк||2 < t2v(D) и v(D) > 0 существует

fc^x

такое натуральное число М, что для всех к > М справедливо неравенство ЦЕгяЛ2 < t2v{D) — -jj. Тогда, как и в выкладке (4) при доказательстве теоремы 2 (в которой, как уже отмечалось выше, полагаем gfc+1 = Ernfc+1 (rfc)), получаем, что для всех k > M справедлива оценка

||rfc+i||2 < ||rfc||2 - t2 sup |(rfc,d)|2 + ||ErHfc+i(rfc)||2 <

de D

<

2- t2

' sup

de D

rfc

+ ||ErHi

fc+i|

<

2/l"i)< — I"2 f1^

k-M

0 (k ^ to),

а это и означает, что слабые ортогональные жадные приближения с относительными ошибками в проекторах сходятся в точности к приближаемому элементу. Теорема доказана.

Пример. Покажем, что ограничение на емкость словаря в теоремах 3 и 4 является существенным. В частности, покажем, что в теореме 3 в случае v(D) = 0 предельное уклонение остатков ортогонального жадного алгоритма от нуля (limsup ||rk||2) не может быть никаким образом оценено через limsup и2

k—>х

k—>х

Пусть Н = I2, а О — стандартный ортонормированный базис

к = (1, 0, 0,...) ,ев = (0,1, 0,...) ,е7 = (0, 0,1,...).}.

Как отмечалось ранее, V(Ю) = 0. Возьмем произвольное, сколь угодно малое е > 0 и произвольное, сколь угодно большое А > 0. Пусть £ > —. Положим

f =

■ ¿АО,...

V

M

/

причем М настолько велико, что ||/|| > А и < е. Для такого вектора / рассмотрим последовательность относительных погрешностей

Егя^Л.) = (/г,е/3 + е7 + ... + еш) еа.

M

Ясно, что Егя,. — линейный ограниченный оператор с нормой < е. Кроме того, для рассматриваемой функции / при всех натуральных п верно Нп = < еа >, Сга = 0, гп = /. Отсюда следует, что, во-первых, требование о справедливости равенства Егяп (Н) = 0 для всех Н € Нп удовлетворено, а во-вторых, ортогональный жадный алгоритм со сколь угодно малыми относительными ошибками не сходится к разлагаемому элементу. И наконец, если учесть, что для рассматриваемой функции / моделирование последовательности относительных погрешностей такими операторами Егяк эквивалентно рассмотрению последовательности абсолютных погрешностей д^ = д = — (е, 0, 0, 0,...), то ортогональный

2

2

2

2

2

e

e

жадный алгоритм с абсолютными ошибками дает сколь угодно большое предельное уклонение остатков при фиксированном ограничении на предельную норму ошибок limsup ||gk||2.

СПИСОК ЛИТЕРАТУРЫ

1. Friedman J.H., Stueuzle W. Projection pursuit regression //J. Amer. Statist. Assoc. 1981. 76. 817-823.

2. Jones L.K. On a conjecture of Huber concerning the convergence of PP-regression // Ann. Statist. 1987. 15. 880-882.

3. Mallat S., Zhang Z. Matching pursuit with time-frequency dictionaries // IEEE Trans. Signal Process. 1993. 41. 3397-3415.

4. DeVore R.A., Temlyakov V.N. Some remarks on greedy algorithms // Adv. Comput. Math. 1996. 5. 173-187.

5. Temlyakov V.N. Weak greedy algorithms // Adv. Comput. Math. 2000. 12. 213-227.

6. Галатенко В.В., Лившиц Е.Д. Обобщенные приближенные слабые жадные алгоритмы // Матем. заметки. 2005. 78.186-201.

7. Gribonval R., Nielsen M. Approximate weak greedy algorithms // Adv. Comput. Math. 2001. 14. 361-368.

8. Галатенко В.В. Сходимость слабых ортогональных жадных приближений // Мат-лы Воронеж. зимней матем. школы "Современные методы теории функций и смежные проблемы". Воронеж, 2011. 62-63.

9. Dubinin V.V. Greedy algorithms and applications // Ph. D. Thesis. Univ. South Carolina, 1997.

10. Стечкин С.Б. Об абсолютной сходимости ортогональных рядов // Докл. АН СССР. 1955. 102. 37-40.

11. Barron A. Universal approximation bounds for superposition of n sigmoidal functions // IEEE Trans. Inf. Theory. 1993. 39. 930-945.

Поступила в редакцию 11.01.2012

УДК 511

АБЕЛЕВЫ ПОДГРУППЫ ГРУППЫ ГОМЕОМОРФИЗМОВ, ПОРОЖДЕННЫЕ СКРУЧИВАНИЯМИ ДЭНА

Д. А. Пермяков1

Изучается подгруппа группы классов гомеоморфизмов компактной поверхности, порожденная скручиваниями Дэна вдоль семейства простых, замкнутых, попарно негомотопных кривых с некоторыми условиями. Доказано, что эта группа изоморфна свободной абелевой группе ранга k, где k — количество кривых семейства. В случае ориентируемой поверхности результат является классическим.

Ключевые слова: скручивание Дэна, индекс пересечения кривых, группа классов гомеоморфизмов.

The subgroup of mapping class group generated by Dehn twists along the set of simple closed pairwise nonhomotopic curves with some conditions is studied. It is proved that this group is isomorphic to a free Abelian group of rank k, where k is the number of curves in the set. In the case of an oriented surface, this result is classic.

Key words: Dehn twist, intersection index of curves, mapping class group.

1. Введение. Пусть M — компактная поверхность. Рассмотрим двустороннюю (т.е. сохраняющую ориентацию) простую замкнутую кривую y на M. Скручиванием Дэна [1] вдоль 7 называется гомеоморфизм M на себя, который есть результат разрезания поверхности M вдоль 7, скручивания одного из полученных концов на 2п и приклеивания обратно. Носитель гомеоморфизма (т.е. замыкание множества точек, не являющихся неподвижными точками гомеоморфизма) лежит в цилиндре, основания которого гомотопны y как кривые в этом цилиндре. В координатах (e,h), в £ [0;2п], h £ [0;1], на цилиндре гомеоморфизм имеет вид (в, h) ^ (в + 2nh, h).

1 Пермяков Дмитрий Алексеевич — асп. каф. дифференциальной геометрии и приложений мех.-мат. ф-та МГУ, e-mail:

[email protected].