CC BY
17
УДК 519.24; 53; 57.017 DOI 10.21685/2307-5538-2018-1-10
В. И. Волчихин, А. И. Иванов, Е. А. Малыгина, Ю. И. Серикова
ОБУЧЕНИЕ СЕТЕЙ КВАДРАТИЧНЫХ ФОРМ НА МАЛЫХ ВЫБОРКАХ БИОМЕТРИЧЕСКИХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ ПРОЦЕДУРЫ СИММЕТРИЗАЦИИ КОРРЕЛЯЦИОННЫХ СВЯЗЕЙ
V. I. Volchikhin, A. I. Ivanov, E. A. Malygina, Yu. I. Serikova
TRAINING OF NETWORKS OF QUADRATIC FORMS ON SMALL SAMPLES OF BIOMETRIC DATA USING THE PROCEDURE OF SYMMETRIZATION OF CORELATION LINES
Аннотация. Актуальность и цели. Целью работы является описание процедуры симметризации корреляционных связей многомерных биометрических данных через вычисление полной корреляционной матрицы и выбора ее элементов с одинаковыми значениями. Материалы и методы. Симметричные корреляционные матрицы не поддаются классической регуляризации по Тихонову, однако они обладают собственной «структурной» устойчивостью. Получается, что симметризация корреляционных связей есть не что иное, как некоторый метод структурной регуляризации решения многомерных задач линейной алгебры. Результаты. В работе показано, что переход к вычислению симметричных корреляционных функционалов порядка n эквивалентен повышению объема биометрических данных
в л/п(п — 2) / 2 раз по сравнению с вычислением обычных коэффициентов корреляции. Повышение размерности корреляционных функционалов приводит к монотонному снижению погрешности их вычисления, возникающей из-за недостатка исходных данных. Выводы. Корреляционные функционалы есть не что иное, как многомерные свертки по пространству входных состояний доступных для наблюдения статистических данных. На практике широко используются только простейшие двухмерные корреляционные функционалы, так как применение корреляционных функционалов более высокого порядка слабо изучено. Барьером, мешавшим ранее начать исследования возможностей высокоразмерных корреляционных функционалов, были ожидания падения точности их вычисления. Подобные опасения справедливы только по отношению к асимметричным корреляционным функционалам.
Abstract. Background. The aim of this work is to describe the procedure of symmetriza-tion of the correlation of multidimensional biometric data through the computation of the full correlation matrix and elements with the same value. Materials and methods. The symmetric correlation matrix are not amenable to classical regularization by Tikhonov, but they have their own structural stability. It turns out that the symmetrization of the correlation is not that other, as a certain method of structural regularization for the solution of multidimensional problems of linear algebra. Result. It is shown that the transition to the calculation of the symmetric correlation functionals of order n equivalent to the increased volume of biometric data in
■<Jn(n — 2) / 2 times compared to the computation of conventional correlation coefficients. Increasing the dimensionality of the correlation functionals leads to a monotonous decrease of
the error of their calculations arising due to lack of source data. Conclusions. Correlation functional is not that other, as a multidimensional convolution in space of the input States are available for monitoring statistics. In practice widely used only the simplest two-dimensional correlation functionals, since the use of the correlation functionals of higher order is poorly studied. A barrier that prevented earlier, start researching possibilities vysokorazvityh correlation functionals were expectations for a decline of the accuracy of their calculations. Such concerns are valid only in relation to asymmetric correlation functionals.
Ключевые слова: биометрические данные, корреляционные свертки высокой размерности, симметризация вычислений на малых выборках.
Key words: biometric data, correlation and convolution high-dimensional, symmetri-zation of calculations on small samples.
Проблема вычисления корреляционных функционалов на малых выборках
Применительно к обработке биометрических данных могут быть использованы искусственные нейронные сети [1- 4]. Перед их использованием необходимо выполнить процедуру их обучения. Как правило, искусственные нейронные сети плохо учатся (имеют экспоненциальную вычислительную сложность обучения). Кроме того, для обучения «глубоких» нейронных сетей [1, 2] требуются очень большие выборки исходных данных (более 100 000 примеров, биометрических образов, размеченных в ручном режиме). Все это делает нейронные сети общего вида непригодными для биометрической аутентификации личности человека в защищенном исполнении. Под решение этой задачи приходится создавать специальные нейронные сети [5], имеющие стандартизованный алгоритм обучения [6] с линейной вычислительной сложностью.
Стандартизованный алгоритм обучения [6] построен на использовании младших одномерных статистических моментов. Используются математические ожидания E (v) и стандартные отклонения - o(v) биометрических параметров. Как перспектива рассматривается возможность улучшения стандартного алгоритма обучения [7-9] через дополнительное применение коэффициентов корреляции r(Vj,v2). При этом основным препятствием является то, что корреляционный функционал двухмерен и накапливает погрешности AE(Vj), AE(v2), Ao(Vj), Ac(v2). В конечном итоге на малых выборках коэффициенты корреляции имеют недопустимо большую погрешность. Примеры распределения значений ошибок вычисления коэффициентов корреляции приведены на рис. 1.
Рис. 1. Распределение значений коэффициентов корреляции для выборок из 7, 9, 16, 21 примеров при двух значениях коэффициентов корреляции г = 0 и г = 0,5
Из рис. 1 видно, что самая большая погрешность возникает при определении коэффициентов корреляции независимых данных. Так, для выборок из 16 независимых опытов вычисленный коэффициент корреляции попадает в интервал [-0,1; +0,1] с вероятностью только 0,2. Становится актуальной задача повышения точности вычисления коэффициентов корреляции на малых выборках.
Обычно с ростом размерности вычисляемого функционала растет влияние ошибок из-за недостаточного объема выборки исходных данных. Цель данной работы - показать, что повышение размерности корреляционных функционалов может рассматриваться как эффективный метод регуляризации их вычислений и что переход к вычислению корреляционных функционалов более высокой размерности снижает требования к размерам тестовой выборки, если вычислительные процедуры предварительно симметризованы.
Симметризация корреляционных связей биометрических данных
При необходимости может быть вычислена корреляционная матрица связей биометрических параметров. Например, как источник достоверных данных можно использовать среду моделирования «БиоНейроАвтограф» [10]. В этой программной среде любой введенный графическим планшетом или манипулятором «мышь» рукописный образ преобразуется в 416 биометрических параметров. Как следствие, мы можем воспользоваться данными среды моделирования [10], полученными для 21 примера некоторого рукописного образа, и вычислить корреляционную матрицу размерности 416 X 416 .
Очевидно, что мы можем по этой корреляционной матрице отсортировать данные на группы одинаково коррелированных между собой биометрических параметров. Более того, каждая из таких групп может рассматриваться как система симметричных корреляционных функционалов с монотонно увеличивающейся размерностью:
(1)
Следует отметить, что моделировать исходные данные с симметричными корреляционными матрицами достаточно просто [11, 12]. Для этого достаточно от программного генератора получить вектор независимых псевдослучайных состояний ^ нужной размерности и умножить его на симметричную связывающую матрицу с одинаковыми элементами и единичной диагональю
a 1
a
Si V1
S2 = V 2
S3 V3
(2)
Очевидно, что для каждого показателя размерности - п значения параметра связывания данных является одномерной функцией коэффициента равной коррелированности
а = Я?, п).
На рис. 2 приведены примеры функций (3) для низких показателей размерности.
(3)
Одномерность и монотонность функции (3) позволяет создавать очень точные таблицы преобразований а^г, и наоборот, г^а для любых показателей размерности - п.
Рост точности вычислений коэффициентов равной коррелированности за счет усреднения близких данных
Выбирая одинаковые значения коэффициентов корреляции и создавая группы данных равной коррелированности, мы всегда имеем дело с ошибками их вычисления. Чем выше размерность симметризованной корреляционной матрицы, тем более точно мы можем вычислить коэффициент равной коррелированности через усреднение коэффициентов взаимной корреляции данных, объединенных в одну группу. Так, если мы имеем симметричную корреляционную матрицу размерности - п, то появляется возможность усреднять между собой (п(п — 2)/2) коэффициентов. Если считать, что ошибки вычисления коэффициентов корреляции Дг независимыми, то итоговая ошибка вычисления показателя равной коррелированно-сти значительно снижается
ДЕ (г )■■
ДгУ2 >/п(п — 2)
(4)
Это означает, что имитационное моделирование данных по формуле (2) может быть выполнено много точнее, чем ошибка реальных данных, вычисленных по малой выборке.
Регуляризация вычисления откликов квадратичных форм
В биометрии активно используется мера Махаланобиса [13]. Если выполнить центрирование и нормирование биометрических данных, то мера Махаланобиса может быть записана следующим образом:
в2 =(У)Т [г] 1V.
(5)
Основной проблемой вычислений по формуле (5) является проблема обращения плохо обусловленных корреляционных матриц. Чем выше размерность корреляционной матрицы, тем хуже их обусловленность. Для произвольно сформированных корреляционных матриц 4, 5 порядка число обусловленности может меняться в пределах от 1 до 200. Если же мы начнем специально подбирать одинаково коррелированные биометрические параметры, то, например,
для параметров г ~ 0,0 число обусловленности будет близко к единице при любой размерности. Формирование нескольких групп слабо коррелированных параметров является очень эффективным способом регуляризации. Более того, даже в случае не нулевых корреляционных связей г Ф 0,0 для симметричных матриц удается однозначно вычислить коэффициент обусловленности:
cond
_ max(X¡ ) _ X min(X¡ ) X2 '
(6)
где X1 - собственные числа любого типа корреляционной матрицы, только для симметричных корреляционных матриц Х1 = тах(Х;) и X2 = Х3 =,.., = Xп = тт(Х;).
Следует отметить, что число обусловленности симметричных корреляционных матриц всегда меньше, чем число обусловленности близких к ним почти симметричных матриц с погрешностями вычисления каждого элемента:
cond
l rl,2 г1,з
r2,l l r 2,з
гз,1 гз,2 l
> cond
l E (r ) E (r ) E (r ) l E (r ) E(r) E(r) l
(7)
На рис. 3 показаны функции роста минимального значения коэффициента обусловленности в зависимости от показателя равного значения коэффициентов корреляции и размерности матрицы.
На рис. 3 даны функции роста числа обусловленности в зависимости от коэффициентов коррелированности симметричных матриц только для малых размерностей п = 2, 3, ..., 10. С ростом размерности функции обусловленности увеличивают свою крутизну, что отражает эффект «проклятия» размерности.
Исходя из соотношения (7) на рис. 3 отображены границы распределений минимально возможных значений коэффициентов обусловленности. Реальные значения коэффициентов обусловленности всегда выше кривых рис. 3. Для каждой размерности по аналогии с рис. 3 могут быть построены значения математических ожиданий чисел обусловленности и граница их максимумов. Соотношения этих кривых для выборки в 21 опыт показаны на рис. 4.
сопс![г].
тах {< :опс1[г]} /
1 * I А II * 1 * у * 4 Е{сопс1[1\ } /
/ У : * У \
тш{сопс И} г
Рис. 4. Поле разброса чисел обусловленности для почти симметричных корреляционных матриц третьего порядка (более темная заливка) с асимметрией, обусловленной малой выборкой в 21 пример
Из данных рис. 4 видно, что даже относительно небольшие ошибки вычисления коэффициентов корреляции могут приводить к большим вариациям устойчивости обращения даже трехмерных корреляционных матриц. Естественно, что с ростом размерности обращаемых матриц верхняя и нижняя границы будут раздвигаться, увеличивая площадь множества допустимых вариаций чисел обусловленности. Наоборот, с ростом размеров обучающей выборки размеры наблюдаемых вариаций числа обусловленности сужаются, приближаясь к правым границам функций рис. 3.
Потенциальный выигрыш по затратам вычислительных ресурсов от замещения операции регуляризации по Тихонову на операцию симметризации
На практике при обращении матриц и решении систем линейных уравнений часто используется регуляризация вычислений по Тихонову [14]. Идея метода Тихонова состоит в том, что к нестабильной матрице добавляется стабильная единичная матрица:
[ А1] = [ 4 + ^
(8)
для того, чтобы еопё [ А1] < еопё [ А].
При поиске коэффициента стабилизации - ц (8) может быть использована итерационная процедура подбора [14], при этом создается иллюзия низкой вычислительной сложности решаемой задачи. На самом деле задача регуляризации корреляционных матриц оказывается много сложнее. Возникает это из-за того, что стабилизирующих матриц может быть множество. Любая матрица с нулевыми элементами вне диагонали и элементами ±1 на диагонали предельно стабильна:
еопё
"+1 0 0 0 0
~-1 0 0 0 "
+1 0 0 " 0 +1 0 0 0 +1 0 0 0
0 -1 0 = еопё 0 0 -1 0 = еопё 0 0 -1 0 0
0 0 -1 0 0 0 +1 0 0 0 0 0 0 -1 0 0 +1
(9)
Фактически вместо одного решения (7) необходимо проверять 2п возможных решений
[А ± 1] = [ А] + ц[±1].
(10)
Таким образом, полное решение задачи регуляризации матриц высокой размерности - п является задачей экспоненциальной вычислительной сложности. Если же мы пользуемся процедурами симметризации корреляционных матриц, то вычислительная сложность такой задачи близка к квадратичной. Получается, что, изменив условия решения задачи регуляризации под нейросетевой базис, удается получать технические решения с очень высокой устойчивостью.
Общие положения симметризации и ортогонализации нелинейных сверток
Когда осуществляется первичная обработка биометрических данных, ее стремятся сделать ортогональной. Как правило, используют ортогональные представления данных через их разложение в базисах Фурье, Уолша, Хаара. При этом устойчивость вычислений (обусловленность вычислений) повышается. Формально все процедуры ортогонализации при их программной реализации выполняются на дискретной сетке отсчетов (они дискретны), т.е. устойчивое преобразование из временной области в частотную и обратно дискретно, например, это могут быть свертки Фурье на сетках из 256 отсчетов:
[*(^6)] ^ [х( Дю^)] ^ [х(*25б)]. (11)
Для двухмерных преобразований Фурье, Уолша, Хаара свертки по интервалам превращаются в свертки по пространству состояний матриц 256^256. Трехмерное преобразование Фурье, Уолша, Хаара по своей сути является свертками по куб-матрицам исходных данных. Вычислительная сложность преобразований быстро увеличивается, однако их устойчивость остается высокой из-за ортогональности преобразований.
Выше мы показали, что симметризация корреляционных связей при вычислении квадратичных форм (например, меры Махаланобиса) также приводит к существенному росту устойчивости вычислений на малых выборках. При этом вычислительная сложность операций симметризации является квадратичной и формально записывается как простое понижение размерности
Я(Г1, Г2,...., г,) ^ Я Г Г1,...., Г1) ^ Я, (г). (12)
К сожалению, симметризации вычислений уделено намного меньше внимания в сравнении с их ортогонализацией. Наиболее полно вопрос о симметризации вычислений исследован для приложений идентификации нелинейных динамических объектов [15]. Доказано, что отклики ядер Вольтерра в их симметричном и асимметричном варианте полностью совпадают. Сама же симметризация ядер Вольтерра может быть выполнена перестановкой асимметричных переменных с последующим усреднением:
h(% т, т,) _ Аз(т) _1 6
hCil, т2, тз,) + hCil, тз, т2,) + hCü2, т1, тз,) + hCü2, тз, т1,) + h^, т1, т2,) + h(тз, т2, т^))_
(1З)
Уже после симметризации ядер Вольтерра может быть выполнена ортогонализация вычислений через применение полиномов Лагерра [15] или иными похожими методами ортогонализации [16-20].
Получается, что рассматриваемые в данной статье процедуры симметризации теоретически могут быть усилены процедурами ортогонализации. Тем не менее даже без ортогонали-зации и симметризации нейронные сети, обученные стандартизованным алгоритмом [6], позволяют получать рекордно устойчивые решения. Так удается решать обратную задачу нейросетевой биометрии для матриц нейросетевых функционалов размерности 416 X 256 при вариациях примеров биометрических данных порядка 20 % [21].
Заключение
Инженеров обычно удивляет та высокая точность решений управления, принимаемых людьми, опираясь на низкую точность датчиков или биометрических данных. Мы попытались показать, что устойчивость нейросетевых вычислений может быть многократно увеличена,
если отказаться от традиционного пути вычисления обычной меры Махалонобиса и перехода к специальному подбору одинаково коррелированных данных. Этот прием следует рассматривать как очень сильный метод структурной регуляризации. Как только мы отказываемся от того, что связи нейронов кем-то заданы и неизменны, мы получаем дополнительные возможности по структурной регуляризации. На данный момент симметризация связей нейросетевых многомерных преобразований гораздо более изучена, чем ортогонализация подобных преобразований.
Если опираться на положительный опыт идентификации нелинейных динамических объектов, то одновременное использование симметризации и ортогонализации вполне возможно. Одновременное использование симметризации и ортогонализации, видимо, является одним из перспективных направлений совершенствования нейросетевых преобразований.
Принципиально важным является то, что все нейросетевые преобразования являются свертками по пространству исходных данных. Именно это приводит к рекордным значениям устойчивости нейросетевых преобразований. В данной работе мы численно оценили эффективность процедуры симметризации корреляционных связей при обучении сетей квадратичных форм (5), что в конечном итоге должно дополнительно привлечь внимание исследователей и инженеров к процедурам симметризации.
Библиографический список
1. Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвиль. - М. : ДМК Пресс, 2017. - 652 с.
2. Вилзнер, Ю. В. Идентификация лиц в реальном времени с использованием сверточной нейронной сети и хэширующего леса / Ю. В. Вилзнер, В. С. Горбацевич, А. В. Воронков, Н. А. Костомаров // Компьютерная оптика. - 2017. - Т. 41, № 2. - С. 254-264.
3. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. - М. : Вильямс, 2006. - 1104 с.
4. Галушкин, А. И. Нейронные сети: история развития / А. И. Галушкин, Я. З. Цыпкин. -М. : Радиотехника, 2001. - 840 с.
5. Волчихин, В. И. Быстрые алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации : моногр. / В. И. Волчихин, А. И. Иванов, В. А. Фунтиков. - Пенза : Изд-во ПензГУ, 2005. - 273 с.
6. ГОСТ Р 52633.5-2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа».
7. Волчихин, В. И. «Фрактально-корреляционный функционал, используемый при поиске пар слабо зависимых биометрических данных в малых выборках» / В. И. Волчихин, А. И. Иванов, Б. Б. Ахметов, Ю. И. Серикова // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 4. - С. 25-31.
8. Волчихин, В. И. Синтез и тестирование оракула, способного предсказывать асимметричные границы интервала действительного положения математического ожидания малых выборок биометрических данных / В. И. Волчихин, Н. А. Иванова, Ю. И. Серикова, А. Г. Банных // Измерение. Мониторинг. Управление. Контроль. - 2017. -№ 2 (20). - С. 32-39.
9. Иванов, А. И. Снижение требований к размеру тестовой выборки биометрических данных при переходе к использованию многомерных корреляционных функционалов Байеса / А. И. Иванов, П. С. Ложников, А. Е. Сулавко, Ю. И. Серикова // Инфокомму-никационные технологии. - Т. 15, № 2. - С. 186-193.
10. Иванов, А. И. Среда моделирования «БиоНейроАвтограф» / А. И. Иванов, О. С. Захаров. - URL: М1р://пниэи.рф/ас!т!у^с1епсе/тс.Ыт
11. Иванов, А. И. Нейросетевые технологии биометрической аутентификации пользователей открытых систем : автореф. дис. ... д-ра техн. наук / А. И. Иванов. - Пенза, 2002. - 34 с.
12. Ахметов, Б. Б. Многомерные статистики существенно зависимых биометрических данных, порождаемые нейросетевыми эмуляторами квадратичных форм : моногр. / Б. Б. Ахметов, А. И. Иванов. - Алматы : Изд-во ЬЕМ, 2016. - 86 с.
13. Болл Руд. Руководство по биометрии : пер. с англ / Болл Руд, Коннел Джонатан Х., Панканти Шарат, Ратха Налини К., Сеньор Эндрю У. - М. : Техносфера, 2007. - 368 с.
14. Тихонов, А. Н. Методы решения некорректных задач / А. Н. Тихонов, В. Я. Арсенин. -М. : Наука, 1979. - 248 с.
15. Эйкхофф, П. Основы идентификации систем управления / П. Эйкхофф. - М. : Мир, 1975. - 517 с.
16. Ли, Ю. Определение ядер Винера-Хопфа методом взаимной корреляции / Ю. Ли, М. Щецен // Техническая кибернетика за рубежом. - М. : Машиностроение, 1968.
17. Billings, S. A. Identification of nonlinear system (A survey) / S. A. Billings // Proc. IEEE, part D. - 1980. - Vol. 127, № 6. - P. 272-285.
18. Иванов, А. И. Быстрый синтез моделей нелинейных динамических систем с заданной погрешностью / А. И. Иванов // Измерительная техника. - 1995. - № 10. - С. 13-15.
19. Ivanov, A. I. Simple Numerical Method of Separabel Volterra Kernels Symmetrization / A. I. Ivanov // Engineering Simulation. - 1999. - Vol. 16. - P. 411-416.
20. Иванов, А. И. Одномерный аналог многомерной идентификации Ли-Щецена / А. И. Иванов // Управляющие системы и машины. - 1999. - № 2. - C. 16-21.
21. Волчихин, В. И. Нейросетевая молекула: решение обратной задачи биометрии через программную поддержку квантовой суперпозиции на выходах сети искусственных нейронов / В. И. Волчихин, А. И. Иванов // Вестник Мордовского университета. - 2017. -Т. 27, № 2. - С. 517-523.
Волчихин Владимир Иванович
доктор технических наук, профессор, президент Пензенского государственного университета
(Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Иванов Александр Иванович
доктор технических наук, доцент, начальник лаборатории биометрических и нейросетевых технологий, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: [email protected]
Малыгина Елена Александровна
кандидат технических наук, научный сотрудник, межотраслевая лаборатория тестирования биометрических устройств и технологий, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Серикова Юлия Игоревна
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Volchikhin Vladimir Ivanovich
doctor of technical sciences, professor, president of Penza State University (40 Krasnaya street, Penza, Russia)
Ivanov Alexander Ivanovich
doctor of technical sciences, associate professor, head of biometric and neuronal nets technology laboratory,
Penza Scientific Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Malygina Elena Aleksandrovna
candidate of technical sciences, research assistant, interdisciplinary laboratory testing of biometric devices and technologies, Penza State University (40 Krasnaya street, Penza, Russia)
Serikova Yuliya Igorevna
postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
УДК 681.51:616-77 Волчихин, В. И.
Обучение сетей квадратичных форм на малых выборках биометрических данных с использованием процедуры симметризации корреляционных связей / В. И. Волчихин, А. И. Иванов, Е. А. Малыгина, Ю. И. Серикова // Измерение. Мониторинг. Управление. Контроль. - 2018. -№ 1 (23). - С. 66-74. БО1 10.21685/2307-5538-2018-1-10.
