Применение метода наименьших квадратов при обработке результатов полноблочного регрессионного эксперимента Текст научной статьи по специальности «Математика»

УДК 519.254

Е. И. Блинова, доцент (БГТУ)

ПРИМЕНЕНИЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ ПРИ ОБРАБОТКЕ РЕЗУЛЬТАТОВ ПОЛНОБЛОЧНОГО РЕГРЕССИОННОГО ЭКСПЕРИМЕНТА

В статье исследуется проблема получения регрессионного уравнения в случае двух групп факторов. Рассматриваются два способа получения коэффициентов регрессии. Первый из них -это классический метод наименьших квадратов. Второй способ - двухэтапная процедура метода наименьших квадратов, при которой коэффициенты уравнения регрессии для каждой группы факторов определяются отдельно. Доказана эквивалентность этих двух процедур. Кроме того, получена формула, определяющая статистические свойства оценок коэффициентов регрессии.

The problem of obtaining the regression equation in case of two groups of factors is examined in the article. Two ways of estimating of the regression coefficients are considered. The first way is the classical least squares method. The second one is the two-step least squares method procedure of obtaining the regression equations coefficients for each group of factors separately. Equivalence of such procedures is proved. The formula that describes statistical properties of the regression coefficients estimates is also received.

Введение. Метод наименьших квадратов (МНК) - мощный инструмент получения регрессионных зависимостей по экспериментальным данным. В данной статье рассматривается задача получения регрессионной зависимости с помощью МНК в случае, когда результаты эксперимента имеют полноблочную структуру. Такие задачи возникают при изучении зависимости параметра у от двух групп факторов различной природы. Например, в химической технологии при исследовании зависимости некоторого свойства смеси от состава и температуры результаты эксперимента представляют собой измерения свойства y для каждого состава при каждом значении температуры и могут

быть записаны в виде матрицы Y = ||уу||, строки которой соответствуют различным составам, а столбцы - разным значениям температуры. В [1] приведен пример обработки результатов такого эксперимента путем получения зависимости свойства от состава, а затем определения линейной зависимости коэффициентов от температуры. Если полагать для простоты, что находится линейная зависимость y от одного фактора состава x, то в результате будет получено регрессионное уравнение вида

у = (bo + V ) + (bi + biit ) x, которое может быть записано как

у = b0 + b1 x + b01t + b11 xt. (1)

В данной работе показано, что уравнение типа (1) при различных видах зависимости от двух групп факторов может быть получено как путем последовательного применения МНК дважды, как это описано выше, так и непосред-

ственным определением коэффициентов зависимости типа (1) по МНК. Кроме того, рассмотрены статистические свойства коэффициентов зависимости типа (1). Это позволяет избежать вычислительных сложностей, возникающих при получении и статистическом анализе регрессионных зависимостей с большим числом слагаемых, и провести определение коэффициентов зависимостей типа (1) в два этапа.

В работе используется матричная форма записи МНК, согласно которой коэффициенты уравнения регрессии определяются по формуле

В = (ХТХ)-1ХТУ, (2)

где В - столбец определяемых коэффициентов; X - матрица базисных функций, строки которой соответствуют проводимым опытам, а столбцы -членам регрессионного уравнения; У - столбец наблюдаемых значений параметра у.

Так, например, для зависимости (1) матрица базисных функций будет иметь вид

( 1 х1 ТА. \

1 х2

X =

1

X2t1

XNtr J

где х1, х2,..., хм - различные значения фактора состава; t1, t2,..., tr - различные значения температуры.

Матричное представление данных и определение коэффициентов регрессионной зависимости в два этапа. Пусть по результатам опытов при N различных значениях факторов группы х и г различных значениях факторов группы t получена матрица наблюдений YNxr = ||угр ||. Будем обозначать р-й столбец матрицы А через А[р].

t

x

N

r

Таким образом, У[р] - столбец наблюдений при

р-м значении факторов группы

Итак, на первом этапе определяется зависимость параметра у от факторов группы х при фиксированных значениях факторов группы Пусть эта зависимость имеет к членов и ХЫхк -матрица базисных функций этой зависимости, тогда в соответствии с (2) коэффициенты уравнения регрессии при р-м значении факторов

группы ' рассчитываются по формуле

В[р] = ()-1

В результате имеем матрицу коэффициентов

В = (ХТХ)-1 ХТУ

(3)

размера к х г, столбцы которой соответствуют различным значениям факторов группы Для определения зависимости коэффициентов от факторов группы ' в качестве столбцов наблюдений следует рассмотреть столбцы матрицы ВТ. Если в этой зависимости т членов и мы обозначим через Нтхк матрицу коэффициентов, а через Тгхт - матрицу базисных функций, то столбцы матрицы Н будут определяться по формуле (2):

Н [у ] = (ТТТ)-1ТТ (ВТ)[ У],

а значит,

Н = (ТТТ)-1 ТТВТ. Подставляя (3), получаем

Н = (ТТТ )-1ТТ ((ХТХ )-1 ХТУ )Т = (ТТТ )-1ТТУТХ (ХТХ )-1.

(4)

Покажем теперь, что если на первом этапе получать коэффициенты зависимости у от факторов группы ' при фиксированных значениях факторов группы х, а затем определять, как эти коэффициенты зависят от факторов группы х, то результат будет тот же.

Обозначим через ] столбец коэффициентов зависимости у от факторов группы ' при у-м значении факторов группы х. В данном случае в качестве столбцов наблюдений следует рассмотреть строки матрицы У, т. е. столбцы матрицы У . Матрица ^тхМ определяется соотношением

^ = (ТТТ)-1ТтУт

Далее при определении зависимости коэффициентов от факторов группы х в качестве столбцов наблюдений следует рассмотреть столбцы матрицы ТТ. Обозначив через Окхт матрицу коэффициентов, получим

О = (ХТХ)-1 ХТ= (ХТХ)-1 ХТУТ(ТТТ)-1. (5)

Сравнивая с (4), убеждаемся, что О = НТ. Прямое определение коэффициентов регрессионной зависимости. Обозначим через

У =

ж Ыгх1

( у л

У[1] У

'[2]

VУ[г] J

столбец наблюдений, составлен-

ный из столбцов матрицы У, а через Вктгх1 -столбец определяемых коэффициентов. Тогда матрица базисных функций будет иметь вид

('„ Х

X,

Ыгхкт

г 12Х

' 21Х ¿22 Х

ЧшХ Л

V 'г1 Х

'г 2 Х

' 2тХ

'гтХ /

(6)

т. е. это блочная (клеточная) матрица, каждый блок которой представляет собой матрицу ХЫ хк, умноженную на соответствующий элемент матрицы Тгхт. (Матрицы базисных функций ХЫхк и Тгхт были введены в предыдущем разделе.) В соответствии с (2),

в = {хтху1хту.

Для того чтобы доказать, что результат прямого определения коэффициентов по МНК совпадает с результатом двухэтапного применения МНК, покажем, что матрица (столбец) в составлена из столбцов матрицы О.

Для этого нам нужно знать некоторые свойства матриц вида (6).

Пусть имеются матрицы Тгхт = |'ар || и

Хмхк =|Х||. Матрица x называется прямым

(кронекеровым) произведением матриц Т и Х (обозначается x = Т ® Х), если x - блочная (клеточная) матрица вида (6), т. е. блочная матрица размера Ыг х кт с гт блоками вида 'арХ [2]. Таким образом, элементы матрицы x

задаются соотношением

^ (а-1)Ы+7, (Р-1)к+ ] = Ху'ав

(элемент матрицы X, стоящий в 7-й строке у-м столбце блока 'арХ).

Рассмотрим свойства кронекерова произведения матриц.

Утверждение 1. Если X = Т ® Х, то XT = ТТ ® ХТ.

Утверждение доказывается путем проверки равенства

Т

^ (Р-1)к+у, (а-1)N+7 = ^ (а-1)N+7, (Р-1)к+' = Ху''ар.

Утверждение 2. Если X = Т ® X, где Т и X - неособенные квадратные матрицы, то

X"1 = Т- ® X

Доказательство. Обозначим определитель матрицы Т через det Т, а алгебраическое дополнение к элементу taв матрицы Т через Тар. Тогда

Т4 =

Те

Ра

det Т

Обозначим ( = Т 1 ® X \ Это будет блоч-

ная матрица с блоками вида

ТР

Ра

det Т

X-

а мат-

рица X - блочная матрица с блоками вида tаpX. Если матрица Т имеет порядок т, а

матрица X - порядок к, то матрицы X и ( имеют одинаковую структуру: их блоки представляют собой квадратные матрицы порядка к и образуют т строк и т столбцов. Для доказательства того, что матрица ( является обратной к матрице X, проверим равенства (X = Е и XQ = Е, где Е - единичная матрица порядка кт.

По правилу умножения блочных матриц [3] (X - блочная матрица с т ■ т блоками вида

Сав = X

Т

5а

^ Т

-X 1 ■ t5R X =

5р^

= X 4 X ■

det Т

X Т5а^5Р.

5=1

Поскольку X Т5а^р представляет собой сум-

5=1

му элементов р -го столбца матрицы Т на алгебраические дополнения к элементам а-го столбца этой матрицы, то

т Т, если а = р,

X Т5а ^5Р = '

5=1

0,

если а Ф р.

Следовательно, поскольку

Сар =

Еы, если a=P,

0, если аФ р,

то ( = Ектхкт .

Равенство XQ = Ектхкт доказывается аналогично.

Утверждение 3. Если X = Т ® X, то XTX = ТТТ ® XTX.

Доказательство. Пусть X - матрица размера N х к, а Т - матрица размера г х т. Тогда X = Т ® X - блочная матрица вида (6), т. е. блочная матрица размера N х кт с гт бло-

ками вида tapX, а X1 = Т ® X1 - блочная матрица размера кт х N с гт блоками вида tpaX7. Блоки матрицы X образуют г строк и т столбцов, а блоки матрицы X1' образуют т строк и г столбцов. Таким образом, структура и размеры блоков матриц X и X согласованы.

В соответствии с правилом умножения блочных матриц [3] X1' X - блочная матрица с т ■ т блоками вида

СаР =Х^раXT ■ tpвX =

Р=1

= XT X ■Х tpаtpв .

Р=1

Поскольку (ТТТ) т

X tpа tpp

Р=1

то заклю-

чаем, что матрица X1' X есть кронекерово

произведение матриц ТТТ и X1' X. Следствие. Если X = Т ® X, то

(XX)-1 = (ТТТ) ® (xTx). (7)

Наконец, имея в виду указанные свойства кронекерова произведения матриц, изучим матрицу В = (XTX)-1XTУ. При этом будем использовать следующее свойство операции умножения матриц.

Утверждение 4. Если С = АВ, то /-й столбец матрицы С представляет собой линейную комбинацию столбцов матрицы А, причем коэффициенты этой линейной комбинации есть элементы /-го столбца матрицы В.

Согласно правилу умножения блочных матриц [3], XTУ - блочная матрица, представляющая собой столбец из т блоков размера кх1 вида

Са1 =XtpаXT ■ \р] = ^ ■X^а^р].

Р=1 Р=1

(Напомним, что !^р] обозначает р-й столбец матрицы наблюдений Y.) Итак, сумма

г

X tpaY[p] представляет собой линейную комби-

р=1

нацию столбцов матрицы Y с коэффициентами из а-го столбца матрицы Т. Согласно утверждению 4, эта линейная комбинация дает а-й столбец матрицы YT. Таким образом,

Са1 = XT ■ С^Т)[а].

Далее рассмотрим матрицу В = (XTX)-1XTУ.

5

1

Обозначим через Аар алгебраическое дополнение к элементу матрицы ТтТ, стоящему в а-й строке Р-м столбце. Тогда (ТТТ)-1 =

= ^ ТТ) . Поскольку матрица (xтx) представляет собой кронекерово произведение матриц (тТТ) и (хтX) , то это блочная матрица, блоки которой образуют т строк и т столбцов

А

и имеют вид

ра (ХТ X)-1.

аегсг т)

В соответствии с правилом умножения блочных матриц [3] (XTX)-1 XTУ - блочная матрица, представляющая собой столбец из т блоков размера kх 1 вида

Са1 =1

А

5а

Т (Хт X)-1 Хт (УТ)[5] = 5=1 &е\(ТТТ) [5]

= (ХТХ)-1 Хт • £

А

5а

<УТ)[5].

Последняя сумма представляет собой линейную комбинацию столбцов матрицы УТ с коэффициентами из а-й строки матрицы

(Г Т )-1.

Учитывая, что матрица

(ТТТ)-1

симметрична

относительно главной диагонали, а следовательно, ее одноименные столбцы и строки совпадают, согласно утверждению 4, заключаем, что эта линейная комбинация дает а-й столбец матрицы УТ - (ТТТ)-1. Таким образом,

Са1 = (ХТХ)-1 ХТ (УТ(ТТТ)-1)[а] =

= ((ХТХ)-1 ХТУТ (ТТТ)-1 )[а].

Следовательно, блоки матрицы В = (XT X)-1XTУ представляют собой столбцы матрицы (ХТХ )-1 ХТУТ (ТТТ )-1.

Сравнивая с (5), заключаем, что матрица В составлена из столбцов матрицы О = (ХТХ)-1 х

х ХТУТ (ТТТ )-1.

Статистические свойства коэффициентов уравнения регрессии. Предположим, что выполняются классические предпосылки применимости регрессионного анализа, т. е. факторы считаются неслучайными величинами, а ре-

зультаты наблюдений у7у некоррелированными нормально распределенными случайными величинами с одинаковыми дисперсиями. В такой ситуации статистические свойства коэффициентов уравнения регрессии определяются соотношением

М (В- МВ)(В- МВ)Т = 5 2{ у^^)-1,

где 5 2{у} - дисперсия воспроизводимости параметра у.

Таким образом, статистические свойства уравнения регрессии зависят от величины ошибки воспроизводимости параметра у и структуры матрицы плана X.

Полученное для матрицы x = Т ® Х соотношение (7) позволяет записать ковариационную матрицу коэффициентов В в терминах матриц плана Х и Т :

М (В- МВ)(В- МВ)Т =

= 5 2{ у}(ТТТ )-1 ® (ХТХ )-1.

Заключение. В статье рассмотрена задача получения регрессионного уравнения зависимости параметра у от двух групп факторов в случае полноблочного эксперимента. Доказано, что результат двухэтапной процедуры, при которой сперва определяются по МНК коэффициенты уравнений зависимости параметра у от одной группы факторов при фиксированных значениях факторов другой группы, а затем находятся зависимости полученных коэффициентов от факторов второй группы, совпадает с результатом непосредственного применения МНК для определения регрессионного уравнения зависимости параметра у от двух групп факторов. Кроме того, получена формула, определяющая статистические свойства оценок коэффициентов регрессии.

Литература

1. Ахназарова, С. Л. Методы оптимизации эксперимента в химической технологии: учеб. пособие для вузов / С. Л. Ахназарова, В. В. Ка-фаров. - М.: Высш. шк., 1985. - 327 с.

2. Ланкастер, П. Теория матриц / П. Ланкастер. - М.: Наука, 1978. - 280 с.

3. Гантмахер, Ф. Р. Теория матриц / Ф. Р. Гант-махер. - М.: Наука, 1967. - 576 с.

Поступила в редакцию 31.03.2010