Научная статья на тему 'О некоторых статистических свойствах преобразования «Book Stack»'

О некоторых статистических свойствах преобразования «Book Stack» Текст научной статьи по специальности «Математика»

CC BY
149
37
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СЖАТИЕ ИНФОРМАЦИИ / "BOOK STACK"-ПРЕОБРАЗОВАНИЕ / ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ / ДИСКРЕТНОЕ РАВНОМЕРНОЕ РАСПРЕДЕЛЕНИЕ / DATA COMPRESSION / "BOOK STACK" TRANSFORMATION / DISCRETE UNIFORM DISTRIBUTION / STATISTICAL HYPOTHESIS

Аннотация научной статьи по математике, автор научной работы — Бзикадзе Андрей Важевич, Некруткин Владимир Викторович

В статье изучаются статистические свойства так называемого преобразования «Book Stack», предложенного Б. Я. Рябко (Пробл. передачи инф., т. 16, вып. 4, 1980) в качестве процедуры сжатия информации. Это же преобразование было использовано Б. Я. Рябко и А. И. Пестуновым (Пробл. передачи инф., т. 40, вып. 1, 2004) при построении одноименного статистического теста. Тест предназначен для проверки гипотезы H0 о том, что имеющаяся «входная» повторная выборка соответствует дискретному равномерному распределению с известным носителем. При этом предлагается проверять эту гипотезу не для «входной» выборки, а для новой, полученной с помощью «Book Stack»-преобразования. Тем самым возникает естественная задача сравнения результатов применения одного и того же статистического теста к «входной» и «выходной» выборкам. При выполнении нулевой гипотезы эти процедуры являются эквивалентными, однако при отклонениях от H0 это, вообще говоря, уже не так. Результаты сравнения критериев, конечно, зависят от класса рассматриваемых альтернатив. В статье рассматривается естественная альтернатива, состоящая в том, что исходная повторная выборка соответствует дискретному, но не равномерному распределению с фиксированным носителем. При этом показано, что некоторые стандартные критерии для проверки гипотезы H0 оказываются более мощными при их применении к «входной» выборке, чем к преобразованной. В частности, этоимеет место для критерия отношения правдоподобия и (с некоторыми формальными ограничениями) к критерию χ2. Библиогр. 14 назв.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ON SOME STATISTICAL PROPERTIES OF THE “BOOK STACK” TRANSFORMATION

This paper is devoted to the statistical properties of the so-called “Book Stack” transformation. It was proposed by B. Ryabko (Probl. Inf. Trans, 16(4), 1980) as the method of data compression. B. Ryabko andPestunov used (Probl. Inf. Trans, 40(1), 2004) the transformation to construct the statistical test of the same name. The test is used to saying the hypothesis that the “input” pure random sample is taken from the discrete uniform distribution with the given support. The idea of B. Ryabko and A. Pestunov is to verify this hypothesis with the help of the “output” sample which is obtained by the “Book Stack” transformation. Thus, arises the natural problem of comparing the results of the same criterion for “input” and “output” samples. Under the hypothesis, procedures are equivalent, but if the hypothesis fails, the results are generally different. Obviously, these results depend on the class of alternatives. The natural alternative is that the “input” pure random sample is taken from a discrete, but non-uniform, distribution with fixed support. We prove that several standard criteria applied to the “input” sample are more powerful than the same criteria applied to the “output” sample. In particular, this effect occurs for the likelihood ratio criterion and, with some formal restrictions, to the chi-square criterion. Refs 14.

Текст научной работы на тему «О некоторых статистических свойствах преобразования «Book Stack»»

УДК 004.056.55:519.233.33

Вестник СПбГУ. Сер. 1. Т. 3(61). 2016. Вып. 4

О НЕКОТОРЫХ СТАТИСТИЧЕСКИХ СВОЙСТВАХ ПРЕОБРАЗОВАНИЯ «BOOK STACK»

А. В. Бзикадзе, В. В. Некруткин

Санкт-Петербургский государственный университет,

Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7—9

В статье изучаются статистические свойства так называемого преобразования «Book Stack», предложенного Б. Я. Рябко (Пробл. передачи инф., т. 16, вып. 4, 1980) в качестве процедуры сжатия информации. Это же преобразование было использовано Б. Я. Рябко и А. И. Пе-стуновым (Пробл. передачи инф., т. 40, вып. 1, 2004) при построении одноименного статистического теста. Тест предназначен для проверки гипотезы Ho о том, что имеющаяся «входная» повторная выборка соответствует дискретному равномерному распределению с известным носителем. При этом предлагается проверять эту гипотезу не для «входной» выборки, а для новой, полученной с помощью «Book Stackj^-преобразования. Тем самым возникает естественная задача сравнения результатов применения одного и того же статистического теста к «входной» и «выходной» выборкам. При выполнении нулевой гипотезы эти процедуры являются эквивалентными, однако при отклонениях от Ho это, вообще говоря, уже не так. Результаты сравнения критериев, конечно, зависят от класса рассматриваемых альтернатив. В статье рассматривается естественная альтернатива, состоящая в том, что исходная повторная выборка соответствует дискретному, но не равномерному распределению с фиксированным носителем. При этом показано, что некоторые стандартные критерии для проверки гипотезы Ho оказываются более мощными при их применении к «входной» выборке, чем к преобразованной. В частности, это имеет место для критерия отношения правдоподобия и (с некоторыми формальными ограничениями) к критерию х2. Библиогр. 14 назв.

Ключевые слова: сжатие информации, «Book Stac^-преобразование, проверка статистических гипотез, дискретное равномерное распределение.

1. Введение и постановка задачи. В статье [1] предложен новый статистический критерий (Book Stack-тест, в дальнейшем BS-тест), предназначенный для проверки гипотезы о том, что наблюдаемая повторная независимая выборка взята из дискретного равномерного распределения.

Хотя в [1] целью применения этого теста объявляется проверка качества генераторов псевдослучайных чисел, сама идея критерия, несомненно, имеет более общий характер. После [1] опубликован еще ряд статей (например, [2-6]), так или иначе связанных с изучением применимости BS-теста.

В основе теста лежит одноименное преобразование, введенное в [7] в качестве простой и наглядной процедуры сжатия информации. В англоязычной литературе (см. [8]) более распространено название Move-to-Front. BS-преобразование приобрело достаточно широкую популярность и ныне используется в некоторых утилитах для сжатия данных — в основном как один из промежуточных шагов (см, например, [9]).

Дадим формальное описание BS-преобразования в удобных для дальнейшего повествования терминах. Пусть S = {1, 2,...,S'} и &s — множество всевозможных перестановок чисел от 1 до S. Для любого x G S и любой перестановки а = (ai, а2,..., as)T G &s обозначим через io = io(a, x) такой индекс, что ai0 = x.

© Санкт-Петербургский государственный университет, 2016 DOI: 10.21638/11701/spbu01.2016.402

Тогда будем иметь

при i = 1, при 1 < i при i > io.

f (a,x)[i] =f { ai-! при 1 <i < io, (1)

Тем самым получим отображение

f = f (a,x)[1],...,f(a,x)[S]) T : 6s x S ^ 6S,

которое и называется BS-преобразованием. Переход от BS-преобразования к различным вариантам BS-теста происходит следующим образом. Рассмотрим последовательность случайных величин {ni}i>i, предполагая, что щ € S при любом i.

Введем последовательность векторов {Sn € &s}n>o так, что для i ^ 1 выполняется

S = (Sí[1], Hi[2],..., Sí[S])t = f (Si-i, Vi), (2)

а So — это (вообще говоря, случайный) S-мерный вектор, принимающий значения во множестве перестановок &s . Предполагается, что случайный вектор So не зависит от {ni}i>i.

Наконец, определим последовательность {^i}i> i, где & € S задается как решение уравнения

ni = Si-i [&]. (3)

Заметим, что для любого i ^ 1 это решение существует и единственно, так как Si-i является некоторой перестановкой чисел 1, 2,...,S, а щ € S.

Нетрудно показать, что случайные величины {^i}i>i являются независимыми и равномерно распределенными на множестве S (последнее будет обозначаться как & € US), тогда и только тогда, когда последовательность {ni}i>i обладает таким же свойством (это сразу же следует из того, что при фиксированном So для любого n ^ 1 отображение {щ}"=i ^ {£i}ií=i является биекцией).

Пусть теперь нулевая гипотеза Ho относительно {щ}г>1 состоит в том, что эти случайные величины независимы и щ € Us. Общая идея статистических тестов, основанных на BS-преобразовании, состоит в том, что гипотеза Ho проверяется с помощью случайных величин {^i}i>i, а не исходных {ni}i>i.

Для проверки гипотезы Ho существует много статистических критериев (см., например, [10]), среди которых наиболее популярными являются критерий х2 и критерий отношения правдоподобия. Заметим, что в оригинальной постановке BS-тест использует критерий х2 со специальным видом разбиения множества S.

Конечно, о качестве критерия нельзя говорить, не рассматривая некоторый класс альтернатив. Здесь мы ограничимся естественной для статистики альтернативой Hi, состоящей в том, что случайные величины {ni}i>i являются независимыми и одинаково распределенными, но распределение P =f С(щ) не совпадает с US (здесь и далее L(5) обозначает распределение случайной величины 5 со значениями в произвольном измеримом пространстве).

В настоящей работе показано, что в условиях альтернативы P = Us критерии отношения правдоподобия и х2, примененные к последовательности }i>i, будут при

a

больших объемах выборки (и при некоторых дополнительных условиях) менее мощными, чем такие же критерии, примененные к исходной последовательности {щ}г^1. Аналогичный факт оказывается верным и для некоторых других критериев.

Общий ход рассуждений следующий. В разделе 2 доказывается, что последовательность Ег является однородной марковской цепью (ОМЦ), причем при условии рг > 0 для любого г эта цепь является эргодической. Отсюда (раздел 3) выводится условие сходимости вероятности Р(£п = к) при всех к от 1 до Б к некоторым предельным значениям в* > 0. Более того, для последовательности выполняется закон больших чисел: если положить

п

= т?>(п) = £ 0*(^), (4)

3=1

(здесь и далее 0Ж обозначает индикатор одноточечного множества А = {ж}), то будем («) / р

иметь т* /п ^ в* при п ^то.

В разделе 4 показано, что распределение, определяемое вероятностями в*, расположено «ближе» к равномерному распределению И^, чем V. На этом и основаны финальные рассуждения раздела 5, относящиеся к мощностям критериев.

Введем еще несколько обозначений. Пусть задан вектор (х\,.хп)т € 8п и перестановка а € . Тогда при /(1)(а, х1) = / (а, х1) для любого 2 ^ ] ^ п определим рекуррентным образом

/(3)(а,хз) = / /(3-1) (а,хз-1 ),х¿) . (5)

Кроме того, для любого т ^ 1 и любых 2 = (£о,..., £т), к = (ко,..., кт) € 8т+1 выполняется

=( |а € | а£о = к0, а, Щ-1)^] = % для 3 € 1 : то | . (6)

Для т = 0 и любых I, к € 8 справедливо

Т0(£,к) = {а € | ае = к} . (7)

2. Предельное поведение последовательности {^¿}г>1. Как уже говорилось, мы везде дальше будем предполагать, что {щ}г^1 являются независимыми одинаково распределенными случайными величинами с распределением

Р(Пг = к)= Р*, к € 8. (8)

Лемма 1. Последовательность {Еп}п>0, определенная в (2), образует ОМЦ с фазовым пространством и матрицей переходных вероятностей Р^ = (р^в размерности (Б!) х (Б!) такой, что при а, в € выполняется

Р{!в = Р(/(а,П1)= в),

где / определено в (1). Более того, если р* > 0 для любого к € 8, эта марковская цепь является эргодической.

Доказательство. Первое утверждение непосредственно следует из представления (2) и того факта, что Ег-1 и пг независимы (см. [11, гл. 1, §12]). Если ри > 0 для всех к, то, как нетрудно видеть, матрица Р| при к ^ Б имеет все положительные элементы. Тем самым утверждение доказано. □

Замечание 1. Если все ри положительны, то, согласно лемме 1, у марковской цепи Еп существует единственное стационарное распределение п = пй, которое является решением системы пРз = п. Можно показать, что это стационарное распределение задается вектором-строкой

Пй = (п12,..,Б• • • 1) € (9)

где

й-1 ,Б-2 1 к

Тг1 ,Ъ2,...,гв = I I ргк

ГК/ П I1 -Еъ )• (10)

к=1 ' к=1 У 3 = 1

Поскольку явный вид пй в дальнейшем не используется, мы опускаем доказательство этого факта.

Перейдем к изучению стационарного поведения последовательности {£г}г^1.

Предложение 1. Пусть начальное распределение марковской цепи {Ег}г^0 — стационарное распределение пй, определенное в (9), (10). Тогда последовательность является стационарной в узком смысле. Точнее, в обозначениях £= (1о,...,1т),к = (ко,...,кт) е 8т+1 и £3 = • • •, &+т) имеет место равенство

т

= = Е ГК Е (п)

ко,...,кт 3 = 0 аеТт(£,к)

где множество Рт(£,к) определено в (6).

Доказательство. Обозначим г}^ = (щ,... Тогда будем иметь

=~е) = Е =11 ^ = =а) = =а) ■

к: а

Так как распределение совпадает со стационарным, щ и независимы и = к)= П™=о Рк^ то выполняется Р = = а) = па П™=0РкГ С другой

стороны, по определению множества справедливо

= ^ = «) = (! при

10 иначе •

Тем самым равенство (11) доказано. Поскольку правая его часть не зависит от г, то и стационарность последовательности тоже установлена. □

Следствие 1. Так как Т0(1,к) = {а € 6Б I а£ = к}, то в условиях предложения 1 для любых ] € 8 и г ^ 1 выполняется

def

=

Р(е = з) = ^2па. (12)

к=1 аевв

а^ = к

Распределение с вероятностями (12) далее будем обозначать Я.

3. Закон больших чисел для частот последовательности Здесь,

как и раньше, предполагается, что вероятности рк являются положительными.

Теорема 1. Для любого начального распределения £(20) справедливы соотношения

Р(£п = к) вк (13)

Тк р

Ш

зк, (14)

П п^+ж

где вк —вероятности, определенные в (12), а частоты тк^) введены в (4).

Доказательство. Поскольку конечная ОМЦ }^0 является эргодической, то имеют место неравенства

1Р^(п) - пвI < срп и |Р(Нк = в) - срк, (15)

где 0 < р < 1, с > 0, в € &Б, к > 0, а пр определена в (10).

Используя (15), оценим сверху величину \Р(2 = а, = в)-пап^ \ для а, в € 6б и 1 ^ г < т:

\Р(24 = а, Ет = в) - папе\ =

ч (бь л \ ^ ^ (V при 2г < т

= \Р(2 = а) Ра1з(т - г) - пап{5 \ < С< т_1

в I р" 1 при 2г > т,

здесь и далее С обозначает некоторую абсолютную постоянную.

Отсюда при фиксированном к € 8, используя формулу полной вероятности и определение (3) случайных величин £п, получим при п

Б Б

Е Пк(£п)=5> О3 (Пп) ^ Е "а(5п-1)^Х) Рк Е (па +0(рП)) =

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3 = 1 аевв, 3=1 аевв,

ак =3 ак =3

= вк +0(рп) ^ вк. (16)

Тем самым (13) доказано. Аналогичным образом можно убедиться в том, что выполняется неравенство

Е0к(*)0к&) - 4 < Спри

I р3 * при г < ] < 2г, Вестник СПбГУ. Сер. 1. Математика. Механика. Астрономия. Т. 3 (61). 2016. Вып. 4 537

и

и, следовательно, неравенство

п

Е (Е 0к(6)0к(3) - 4) < Сп. (17)

»,3=1

Покажем теперь, что Е(т^/п - вк)2 — 0 при п — ж, откуда и будет следовать (14). Для фиксированного к € 8 имеем

п

= ]Т (Е 0к(е»)0к(3) - вкЕ 0к(3) - вкЕ 0к(е») + 4) =

»,3=1

п

Е (е 0к(е»)0ке) - в2к + д(р™^)), (18)

»,3 = 1

где Д(х) ^ Сх, а последнее равенство следует из (16).

Используя (17), нетрудно убедиться в том, что левая часть (18) имеет вид 0(п) при п оо. Тем самым второе утверждение тоже доказано. □

4. Эффект выравнивания вероятностей. Здесь мы покажем, что в случае, когда распределение V = С(щ) отличается от равномерного иБ, предельное распределение Я последовательности {е»}г^1 оказывается «ближе» к равномерному, чем распределения исходной последовательности {п»}г^1. В качестве меры близости Q = (я1,..., яб) к равномерному распределению иБ рассматриваются следующие характеристики: а) двоичная энтропия

Ч2(0) = -Е Я» 1оё2 Я»

г=1

(чем она больше, тем ближе распределение Q к равномерному);

б) р1(^, иБ) ^Б=1 1як - 1/31, что представляет собой удвоенное расстояние по вариации между Q и иБ;

в) Р2(д,иБ) ^

г) иБ) = тахк 1як - 1/31.

Рассмотрим сначала энтропии распределений V и Я.

Теорема 2. Пусть случайные величины {пг}г^1 независимы и одинаково распределены с распределением V = иБ, задаваемым набором положительных вероятностей {рг}Б=1. Обозначим через Я = (в1,..., вБ) предельное распределение случайных величин еп при п —у ж. Тогда будет справедливым неравенство Н2(Я) > Н2(Р).

Доказательство. Согласно следствию 1, имеем

Б

в» = ^Р3а»3, где а^ = ^ па. (19)

3=1 аее5

аь=]

Кроме того, в силу формулы полной вероятности справедливы равенства

Е ^ ^ Е Па = 1 И И аИ ^ Е Па = 1

г=1 г=1 aE6s 3=1 3 = 1 aE6s

ai=j а =3

Тем самым матрица А = (а^) является бистохастической, и из [12, гл. 2, лемма 1] сразу же следует Н2 (Я) ^ Н2(Р), причем для доказательства строгого неравенства достаточно установить, что выполняется шаху ру > шаху я у.

Будем считать, что числа рг упорядочены по убыванию: р1 ^ р2 ^ ... ^ рв-1 ^ рв. Так как не все вероятности рг одинаковы, существует I ^ 2 такое, что р1 > рц. Покажем, что р1 > яу для любого к. Согласно равенству (19), будем иметь

я я

Р1 - яу = Р1 аузРз = Р1 - ау1Р1 - Е аузРз =

3=1 3=2

я в / в \

= Р1(1 - ау1) ак3Р3 >Р1(1 - ау1) - Р1 ^ ау3 = р1 11 - ау1 ау3 I =0, 3=2 3=2 3=2

так как матрица А = (ац) является бистохастической. Таким образом, и строгое неравенство тоже доказано. □

Рассмотрим теперь другие меры отклонения распределений от Ив.

Теорема 3. При д =1, 2 и ж имеют место неравенства рд(Я, Ив) ^ рд(V, Ив), причем выполняется рж(Я, Ив) < рто(Р, Ив).

Доказательство. Введем обозначения p = (p1 ,...,pS)T, s = (si,...,sS)T и

■ij )i,j=

e = (1,..., 1)Т/Б. Тогда система (12) запишется в виде s = Ap, где A = (aij)SJ=1 —

бистохастическая матрица с элементами aij, определенными в (19). Поскольку e = Ae, то A(p — e) = s — e, и поэтому выполняется неравенство

||s — e||, < ||AHg||p — e||,,

где || • || — гельдерова векторная норма порядка q, а || A||g — соответствующая подчиненная матричная норма. Поскольку матрица A бистохастическая, то по определению соответствующих матричных норм имеем

s s

||A||i = max V|aij| = IIAIloo = max V|aij| = 1 и ||A||2 = VA,

l^j^S l^i^S

i=1 j=1

где A — максимальное по модулю собственное число матрицы ATA.

Из доказательства теоремы 2 следует maxy py > maxy sy. Совершенно аналогично доказывается miny py < miny sy, и поэтому нужное нам утверждение доказано для q=1 и q = то.

Заметим, что при q = 2 матрица ATA также является бистохастической, и поэтому ее максимальное собственное число равно 1, что завершает доказательство. □

5. Статистические приложения. Рассмотрим теперь применение полученных результатов к проверке статистических гипотез. Оно основано на следующем простом факте, не требующем специального доказательства.

Лемма 2. Пусть {в\п}п>1 и {в2п}п>1 — две последовательности случайных вер р

личин, причем вы ^ Ьх и в2п ^ Ь2 при п ^ ж, где Ьх, Ь2 —некоторые постоянные. Тогда, если Ьх > Ь2, выполняется Р(в\п > 132п) ^ 1 при п ^ ж.

Пусть щ,.. .,г/п повторная независимая выборка из распределения P, сосредоточенного на S и такого, что pk = P(n = к) = 0 для всех 1 ^ к ^ S. Поставим задачу проверки гипотезы Но, состоящей в справедливости равенства P = Us. Как уже говорилось во введении, ее можно проверять как с помощью исходной выборки щ,..., г/п, так и с помощью £i,...,£n.

Для этой цели применим критерий отношения правдоподобия. Зададим при каждом к € S величину т® формулой (4), аналогичным образом положим т(п) = Xj=i1 k (Vj) и рассмотрим статистики

При выполнении нулевой гипотезы обе статистики асимптотически имеют распределение х2 с (S — 1)-й степенью свободы (результат восходит к [13]). На этом факте и основан критерий отношения правдоподобия, отвергающий нулевую гипотезу при больших значениях ОП('ц) или ОП(£,).

В то же время нетрудно видеть (например, [14]), что имеет место

и для выборочной энтропии Нп(R) выполняется аналогичное тождество. Это означает, что гипотеза Но отвергается при слишком маленьких значениях выборочной энтропии.

р ^ р

Поскольку имеем Чп(P) — H(P) и HHn(R) — H(R), а также H(R) > H(P) при P = Us, отсюда сразу же следует, что при альтернативе P = Us критерий отношения правдоподобия, примененный к £i,...,£n, будет при больших n иметь меньшую мощность, чем такой же критерий, примененный к ц1,...,цп.

Аналогичные рассуждения можно применить к критерию, основанному на мет-

I (п)

рике р,х (для получения статистик этого критерия достаточно заменить qk на т^ и

т^ в формуле для p^(Q, Us)).

С некоторыми оговорками такой же вывод можно сделать относительно критерия х2. В этом случае вместо статистик ОП(п) и ОП(£) мы имеем дело с

s (т(п) — n/S)" s (т® — n/S)'

n/S ^ n/S

k=1 k=1

причем нулевая гипотеза отвергается, если статистика хП оказывается слишком большой. Заметим, что при п ^ж выполняется

Для статистики хП(£)/(Бп) имеет место аналогичная сходимость к Р2(Я, Ия), причем справедливо неравенство Р2(Р, Ия) ^ Р2(Я, Ия). Поэтому можно ожидать, что при больших п с вероятностью, близкой к 1, значение статистики хП(п) будет больше, чем значение статистики хП(£).

Конечно, такой вывод является математически обоснованным только для распределений V, удовлетворяющих строгому неравенству р2(Р, ) > р2(Я, ), однако это неравенство для любых V = Ия удалось проверить (с помощью символьных вычислений) лишь при Б = 2, 3.

При Б > 3 проведены отдельные компьютерные эксперименты с некоторым набором распределений V = , в каждом из них зарегистрировано неравенство

Выводы, аналогичные случаю метрики р2, можно сделать и для критерия, основанного на метрике р1.

Тем самым, если входные случайные величины {щ}г^1 независимы и одинаково распределены е С(цг) = V, то идея применения критериев с использованием последовательности (вместо {т}г>1) для проверки гипотезы V = против альтернативы V = Ия, скорее всего, является малопродуктивной.

6. Благодарности. Авторы благодарят рецензентов за ценные замечания, повлекшие значительное улучшение качества статьи.

Литература

1. Рябко Б. Я., Пестунов А. И. «Стопка книг» как новый статистический тест для случайных чисел // Проблемы передачи информации. 2004. Т. 40, вып. 1. С. 73—78.

2. Монарев В. А., Рябко Б. Я. Экспериментальный анализ генераторов псевдослучайных чисел при помощи нового статистического теста // Ж. вычисл. матем. и матем. физ. 2004. Т. 44, вып. 5.

3. Ryabko B., Stognienko V., Shokin Yu. A new test for randomness and its application to some cryptographic problems // Journal of Statistical Planning and Inference. 2004. Vol. 123, N2. P. 365—376.

4. Ryabko B., Monarev V. Using information theory approach to randomness testing // Journal of Statistical Planning and Inference. 2005. Vol.133. P. 95-110.

5. Doroshenko S. et al. On ZK-crypt, Book Stack, and statistical tests // IACR Cryptology ePrint Archive. 2006. P. 1-8. URL: http://eprint.iacr.org/2006/196.pdf (дата обращения: 27.08.2016).

6. Doroshenko S., Ryabko B. The experimental distinguishing attack on RC4 // IACR Cryptology ePrint Archive. 2006. P. 1-4. URL: http://eprint.iacr.org/2006/070.pdf (дата обращения: 27.08.2016).

7. Рябко Б. Я. Сжатие данных с помощью стопки книг // Проблемы передачи информормации. 1980. Т. XVI, вып. 4. C. 16-20.

8. Bentley J., Sleator D, Tarjan R., Wei V. A locally adaptive data compression scheme // Commun. ACM. 1986. Vol.29, N4. P. 320-330.

9. Seward J. bzip2 and libbzip2, version 1.0.5: A program and library for datacompression, 2007. URL: http://www.bzip.org/1.0.5/bzip2-manual-1.0.5.pdf (дата обращения: 27.08.2016).

10. Read T., Cressie N. Goodness-of-Fit statistics for discrete multivariate data. New York: SpringerVerlag, 1988. 224 p.

11. Ширяев А. Н. Вероятность. Т. 1. М.: Изд-во МЦНМО, 2004. 520 c.

12. Файнстейн А. Основы теории информации. М.: ИИЛ, 1960. 144 с.

13. Hoeffding W. Asymptotically optimal test for multinomial distributions // Ann. Math. Stat. 1965. Vol.36, N2. P. 269-401.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

P2(P, Us) > P2(R, US).

С. 812-816.

14. L'Ecuyer P., Compagner A., Cordeau J-F. Entropy tests for random number generation // Les Cahiers du GERAD, no. G-96-41, 1996, P. 1-22.

Статья поступила в редакцию 5 марта 2016 г.

Сведения об авторах

Бзикадзе Андрей Важевич —студент; [email protected]

Некруткин Владимир Викторович — кандидат физико-математических наук, доцент; [email protected], [email protected]

ON SOME STATISTICAL PROPERTIES OF THE "BOOK STACK" TRANSFORMATION

Audrey V. Bzikadze, Vladimir V. Nekrutkin

St. Petersburg State University, Universitetskaya nab., 7—9, St. Petersburg, 199034, Russian Federation; [email protected], [email protected], [email protected]

This paper is devoted to the statistical properties of the so-called "Book Stack" transformation. It was proposed by B. Ryabko (Probl. Inf. Trans, 16(4), 1980) as the method of data compression. B. Ryabko and A. Pestunov used (Probl. Inf. Trans, 40(1), 2004) the transformation to construct the statistical test of the same name. The test is used to saying the null hypothesis that the "input" pure random sample is taken from the discrete uniform distribution with the given support. The idea of B. Ryabko and A. Pestunov is to verify this hypothesis with the help of the "output" sample which is obtained by the "Book Stack" transformation. Thus, arises the natural problem of comparing the results of the same criterion for "input" and "output" samples. Under the null hypothesis, procedures are equivalent, but if the null hypothesis fails, the results are generally different. Obviously, these results depend on the class of alternatives. The natural alternative is that the "input" pure random sample is taken from a discrete, but non-uniform, distribution with fixed support. We prove that several standard criteria applied to the "input" sample are more powerful than the same criteria applied to the "output" sample. In particular, this effect occurs for the likelihood ratio criterion and, with some formal restrictions, to the chi-square criterion. Refs 14.

Keywords: data compression, "Book Stack" transformation, discrete uniform distribution, statistical hypothesis.

References

1. Ryabko B., Pestunov A., ""Book Stack" as a new statistical test for random numbers", Probl. Inform. Trans. 40(1), 66-71 (2004).

2. Monarev A., Ryabko B., "Experimental analysis of pseudorandom number generators by means of a new statistical test", Computational Mathematics and Mathematical Physics 44(5), 766-770 (2004).

3. Ryabko B., Stognienko V., Shokin Yu. "A new test for randomness and its application to some cryptographic problems", Journal of Statistical Planning and Inference 123(2), 365-376 (2004).

4. Ryabko B., Monarev V., "Using information theory approach to randomness testing', Journal of Statistical Planning and Inference 133(1), 95-110 (2005).

5. Doroshenko S. et al., "On ZK-crypt, Book Stack, and statistical Tests", IACR Cryptology ePrint Archive, 1-8 (2006). Available at: http://eprint.iacr.org/2006/196.pdf (accessed 27.08.2016).

6. Doroshenko S., Ryabko B., "The experimental distinguishing attack on RC4", IACR Cryptology ePrint Archive, 1-4 (2006). Available at: http://eprint.iacr.org/2006/070.pdf (accessed 27.08.2016).

7. Ryabko B., "Data compression by means of a "Book Stack"", Probl. Inf. Trans. 16(4), 265-269 (1980).

8. Bentley J., Sleator D., Tarjan R., Wei V., "A locally adaptive data compression scheme", Commun. ACM 29(4), 320-330 (1986).

9. Seward J., bzip2 and libbzip2, version 1.0.5: A program and library for datacompression (2007). Available at: http://www.bzip.org/1.0.5/bzip2-manual-1.0.5.pdf (accessed 27.08.2016).

10. Read T., Cressie N., Goodness-of-Fit statistics for discrete multivariate data (Springer-Verlag, New York, 1988, 224 p.).

11. Shiryaev A.N., Probability (2nd edition, Springer-Verlag, Berlin-Heidelberg-New York, 1996, 620 p.).

12. Feinstein A., Foundation of information theory (McGraw-Hill Electrical and Electronic Engineering Series, Literary Licensing, LLC, 2013, 144 p.).

13. Hoeffding W., "Asymptotically optimal test for multinomial distributions", Ann. Math. Stat. 36(2), 269-401 (1965).

14. L'Ecuyer P., Compagner A., Cordeau J-F., "Entropy tests for random number generation", Les Cahiers du GERAD no. G-96-41, 1-22, 1996.

Для цитирования: Бзикадзе А. В., Некруткин В. В. О некоторых статистических свойствах преобразования «Book Stack» // Вестник Санкт-Петербургского университета. Серия 1. Математика. Механика. Астрономия. 2016. Т. 3(61). Вып. 4. С. 533-543. DOI: 10.21638/11701/spbu01.2016.402

For citation: Bzikadze A. V., Nekrutkin V. V. On some statistical properties of the "Book Stack" transformation. Vestnik of Saint Petersburg University. Series 1. Mathematics. Mechanics. Astronomy, 2016, vol. 3(61), issue 4, pp. 533-543. DOI: 10.21638/11701/spbu01.2016.402

ХРОНИКА

18 мая 2016 г. на заседании секции теоретической механики им. проф. Н. Н. Поляхова в Санкт-Петербургском Доме Ученых РАН выступил кандидат физ.-мат. наук, доцент В. В. Чистяков (Университет ИТМО, Военно-космическая академия им. А. Ф. Можайского) с докладом на тему «О кинетике вращения динамически неуравновешенного ротатора в условиях комбинированного трения».

Краткое содержание доклада:

Изучается динамика как свободного, так и вынужденного вращения астатического ротатора вокруг неглавной оси инерции при действии сил сухого трения в опорах оси, а также сил аэрогидродинамического сопротивления. Для первых предполагается справедливость законов Кулона—Амонтона, для вторых — квадратичный закон Рэлея. Как аналитически, так и численно решены динамические уравнения для различных типов вынуждающих усилий: постоянный момент, синусоидальная нагрузка, прямоугольные импульсы и т. д. Показано, что в общем случае динамическое уравнение содержит иррациональность в правой части, что приводит к излому в кинетике угловой скорости. В частном случае это уравнение характеризуется разрывной правой частью. Соответствующая кинетика изменения угла и угловой скорости утрачивает свойство периодичности и проявляет признаки стохастического поведения.

i Надоели баннеры? Вы всегда можете отключить рекламу.