CC BY-NC-ND
190
ЛЕКЦИОННЫЕ И МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ
Введение
в эконометрический анализ панельных данных
Ратникова Т.А.
В предыдущих номерах журнала были опубликованы восемь лекций из курса «Введение в эконометрический анализ панельных данных», где была изложена информация общего порядка о панельных данных, рассмотрены методы оценивания основных моделей, свойства полученных оценок, тесты на спецификацию. Также обсуждались проблемы оценивания регрессионных моделей панельных данных в условиях гетероскедастичности и автокоррелированности случайных ошибок и в условиях эндогенности, которая имеет место при коррелиро-ванности регрессоров с индивидуальными эффектами, при наличии ошибок измерения объясняющих переменных и при построении динамических моделей.
В этом выпуске вашему вниманию предлагаются две последние лекции, в первой из которых речь пойдет об оценивании моделей с дискретными и ограниченными зависимыми переменными, а в последней будут обсуждаться меры, позволяющие предотвращать или уменьшать последствия истощения выборки.
Лекция 9.
9. Модели с дискретными и ограниченными зависимыми переменными
Панельные данные часто используются для оценивания нелинейных моделей. Модели с дискретными или ограниченными зависимыми переменными - распространенное явление в этой области.
Помимо обычных вычислительных трудностей, связанных с оцениванием таких моделей, использование панельных данных порождает еще дополнительные проблемы. Дело в том, что модели дискретного или ограниченного выбора были разработаны первоначально для данных пространственного типа, где естественным ограничением является независимость наблюдений. В панельных данных же не предполагается, что наблюдения, относящиеся к одному и тому же индивидууму в разные моменты времени, должны быть независимы. Такое требование противоречило бы реальности. Наличие корреляций между различными компонен-
Ратникова Т.А. - к.ф.-м.н., доцент кафедры математической экономики и эконометрики ГУ ВШЭ.
тами случайной ошибки существенно усложняет вид функции правдоподобия и численные алгоритмы поиска ее максимума.
В этой части мы рассмотрим приемы оценивания логит, пробит и тобит-мо-делей.
9.1. Модели бинарного выбора
Как и в случае пространственных данных, модели бинарного выбора для панелей обычно формулируются в терминах латентной зависимой переменной
У* = X'it +eu,
где реально наблюдаемая зависимая переменная
\\ если у* > 0
У" [0 иначе.
Например, ytt может означать, менял ли место работы i-й индивидуум в период времени t.
Предположим, что случайная ошибка stt имеет симметричное распределение с функцией распределения F(e), независимое и одинаковое по г и по t и независимое от X t.
В отсутствие индивидуального эффекта at оценки коэффициентов получаются либо с помощью сквозной пробит-регрессии, либо с помощью сквозной ло-гит-регрессии.
Присутствие слагаемого a существенно усложняет оценивание, причем неважно, рассматриваем ли мы его как ненаблюдаемый детерминированный индивидуальный эффект или как компоненту случайного возмущения.
9.1.1. Оценивание моделей с детерминированным индивидуальным эффектом
Если a трактуются как неизвестные детерминированные параметры, то
этим самым в модель включаются N дамми-переменных. Тогда логарифм функции правдоподобия будет задаваться следующим выражением:
ln L (b, a, •••, aN) = X Уй in F (a + X,b)+£(1 - ytt) in [1 - F (a + xtb)].
i,t i,t
Максимизация этого выражения по b и at (i = 1,...,N) приводит к состоятельным оценкам при условии, что число временных периодов Т стремится к бесконечности. Для конечных значений Т и N ® ¥ оценки будут несостоятельны. Причина кроется в том, что при конечных Т число параметров растет с размером N, и происходит то, что называют «incidental parameter's»-проблемой, что можно перевести как проблему случайных параметров. Это означает следующее:
любое а,, может быть оценено состоятельно, только если мы имеем достаточно большое число наблюдений для каждого г-го объекта, т.е. когда Т ® ¥. Если же число таких наблюдений мало, оценка а1 будет несостоятельна. В общем случае несостоятельность оценок а1 для фиксированных Т будет перенесена и на оценки р .
Эта проблема, когда число параметров увеличивается с числом наблюдений, встречается в любой ЕЕ-модели (так для краткости в предыдущих лекциях было условлено называть модель с детерминированным эффектом), и линейной, и нелинейной. Но если в линейном случае у нас есть возможность исключить а1 из уравнения, так что р могут быть оценены состоятельно даже тогда, когда для всех а, этого сделать нельзя, то для большинства нелинейных моделей такое исключение произвести невозможно, и несостоятельность оценок а, влечет за собой несостоятельность всех остальных оценок регрессий. Также заметим, что с практической точки зрения оценивание более чем N параметров при N ® ¥ не слишком привлекательно.
Конечно, возможно преобразование модели с латентной зависимой переменной, элиминирующее индивидуальные эффекты, но в данном контексте это бесполезно, так как нельзя полагать, что разность у и - уй-1 является наблюдаемым
аналогом разности у** - у*ч.
Поясним суть вышесказанного следующим примером.
Рассмотрим панель с Т = 2. Пусть в регрессии присутствует только одна независимая переменная:
Предположим, что исходы независимы и ошибка имеет логистическую функцию распределения
Тогда логарифмическая функция правдоподобия будет записываться следующим образом:
0 при (= 1
1 при t = 2.
В таком случае
при ( = 1 при t = 2.
1
N
N
1п ф, а к , aN 1п Ц =£[1п 1п + 1п Ц 2 ]
,=1 ,=1
^Г , ехр(а) л м 1 1 ехР(а+Р) /1 X у> +(1-у,1) !п-+ у21п— ' +Р) +(1-
+у'2 1п
+(1-у,2) !п
1+ехр (а + Р)
1
Зафиксируем р и будем оптимизировать по а1. Существует всего 4 комбинации возможных значений зависимой переменной:
ун = у2 =1; уп = у2 =0; уп = о, у,2 = 1; уп = 1, у,2 = о. Для случая уп = у 2 = 1
1пЦ = 1пеХр(а'\ + + ^ = а, - 1п(1 + ехр(аг)) + аг + р- 1п(1 + ехр(аг + р));
' 1 + ехр (а) 1 + ехр (а+Р) 1 у у 1 у у 1 "
и из условия первого порядка
д1п ц = 2 - ехр (а) - ехр(а + р) = 0
да,. 1 + ехр (а) 1 + ехр(а + р)
следует, что а = ¥, а 1п (а,) = 0 .
Для случая уп = у2 = 0 аналогичным образом получается, что а = -¥, и
1п Ц (а ) = 0 .
Эти две ситуации оказываются неинформативны. В оставшихся двух ситуациях аналогичные выкладки приводят к результатам:
а = 2 р и 1п li (аг) = -21п(1 + ехр(- р / 2)) для у,1 = 0, у2 = 1,
а = - 1 р и 1п li (а) = -21п(1 + ехр(р / 2)) для у11 = 1, у 2 = 0.
Теперь осталось максимизировать полученную функцию правдоподобия по параметру р :
1п Ц(р) = -2п011п(1 + ехр(- р / 2)) - 2п101п(1 + ехр(р / 2)),
где п01 - это число наблюдений, для которых у11 = 0, у 2 = 1; п10 - число наблюдений, для которых ул = 1, у 2 = 0. В итоге
йРЕ = 21п «01 уммп а111« ■
10
Это редкий случай аналитического выражения для оценки ММП. Выясним состоятельность этой оценки:
и^ = ^01/ N ® р {уп = у' 2 = 1} = 1/(1 + ехр (д.))-ехр (а,. + р)/ (1 + ехр (д. + р)) = ^ «10 «10/N Р {ул = 1> У' 2 =0} ехр (а)/ (1+ехр (а))/ (1+ехр (а + р)) •
Следовательно Е (рММп ) = 21п ер = 2 р. Оценка рММл несостоятельна. Существует альтернативный подход, предложенный в 1970 г. Андерсеном и развитый Чемберленом в работе 1980 г. [5].
Чемберлен предложил следующее:
• исключить из функции правдоподобия все слагаемые, для которых
Уп = у 2;
• рассматривать условный максимум функции правдоподобия при условии
У/1 + У12 = 1
Что это дает? Оказывается, с помощью такого приема можно элиминировать индивидуальный эффект из нелинейных моделей определенного типа и получить состоятельные оценки для параметров р .
Покажем это на нашем примере. Условная вероятность событий, для которых уп = 0, у12 = 1, если ввести для упрощения выкладок следующие обозначения Z1 = ехр (Х'лр+а1) и Z2 = ехр (Х,'2Р+а,.), может быть подсчитана следующим образом:
р У = 0, у/2 = 11 У/1 + У/2 = 1, X,;, Х\г ] = = Р [У,1 = 0, У 2 = 1| X,1, X,2 ]
P [ у 1 = 0, У 2 = 1\Х'П, x ; ]+P [ у, = 1, у 2 = о \ х;, x;2 ]
(1 + Z1 )-1 Z2 (1 + z2 )-1 _ z2
"(1+z )-1 z2 (1+z2 )-1 + z1 (1+z )-1 (1+z2 )-1 _ z1 + Z2"
exp (Xp
exp
(X2 - x 1) p
exp (X ;2p) + exp (Xp
1 + exp
(xX /2 - X,) p
_ Fl
(X/2 - X„) p
и тогда
P [У/1 _ 1, У/2 _ 0 | У/1 + У/2 _ 1, X;„ Х2 ] _ 1 - Fl (X/2 - Хй ) p
В самом деле, функция правдоподобия, которую можно построить на основании вычисленных вероятностей уже не будет содержать зависимости от at, и оценка максимального правдоподобия для p получается, как было доказано Чем-берленом, состоятельной.
Аналогичным образом оцениваются модели для T > 2.
Следует подчеркнуть, что такой подход работает только для логит-моделей. Для пробит-моделей элиминировать индивидуальный эффект таким образом не удается.
Чтобы выяснить, какая спецификация регрессионной модели наиболее адекватна данным, с детерминированным индивидуальным эффектом a (FE) или без него, в нелинейных моделях используется тест Хаусмана. В нем проверяется основная гипотеза:
H0 : a _ a _ const для всех i,
при альтернативной гипотезе HA, что существуют i, для которых это равенство нарушается. Тогда оценка сквозной логит-регрессии pPooUd будет являться состоя-
тельной и асимптотически эффективной в случае справедливости основной гипотезы и несостоятельной в случае справедливости альтернативной, а оценка ло-
гит-регрессии с условным ЕЕ будет состоятельна в любом случае. Тестовая
статистика будет иметь вид
т = (РРЕ - %оМ ) (V (Д.* )-17 (£Рооы )Г (Ле - &00ы )
и подчиняться при условии справедливости Н0 с2 -распределению с числом степеней свободы, соответствующим числу меняющихся со временем регрессоров.
Тест можно проводить для любого интересующего нас коэффициента регрессии Ь(Х-), заменив тестовую статистику т на
I = )РЕ (X )- РгооШ (Х- )
(&E ( X ))-V {РРоМ ( X )) '
9.1.2. Оценивание моделей со случайным индивидуальным эффектом
Модель со случайным индивидуальным эффектом может быть оценена как с помощью логит, так и с помощью пробит-регрессий.
Мы рассмотрим, на сей раз, процедуру пробит-оценивания. Пусть имеется модель вида
* i1 если y > 0
y* = X*b+a +eu, где у u = j .
[0 иначе.
Будем предполагать, что а ~ NID (0, ига ), eit ~ NID (0,1) и stt независимы от a и X tt. Тогда наблюдения независимы по i, и логарифм функции правдоподобия можно представить следующим образом:
N
lnL (b, а, ... , aN ) = ^ lnLi,
i=i
но из-за влияния а наблюдения не будут независимы по t и
L = P[yп = 0,y,2 = 1,...,yT = 11x,;] *py = 01Xi] -P[y2 = 1|x;2]...• p[y,T = 1|X,T],
œ
где p [ ytt = 11 x; ] = p [ x; b+a + e > 01 x; ] = p [a+e > - x; b I x; ] = ф
œ x,; b ^
r-
Sa
p [ y и = 0|x,; ]= 1 - ф
œ X; b л
Г-
Sa 0
Выход из положения состоит в том, чтобы вычислить вероятности при различных а, а потом усреднить результат по {, воспользовавшись тем, что
Е (г ) = Е {Е (г\а)},
а вероятности событий А = {а + е > ~Х'и/} - это математические ожидания индикаторных функций
Р(А) = Е{Р(А \ а)}.
Учитывая все эти обстоятельства, мы можем переписать функцию правдоподобия для г-го объекта в следующем виде
Ц = р [уа, У*.., Ут\Х ]= Е {Р [уя, у> 2,..„ ут Х,., Х'а ,а]}= Е [у,\Хи ,а,]} =
г t i
= i f (а)П
ф
' X 'it р+аЛ
1 -Ф
' X' р+а л
1-у„ '
■ da,.
где f (а ) = -
1
exp I -1 a2r I, а интеграл берется численно.
Ч 2 sa
В стандартных эконометрических пакетах, например в STATA, вся эта процедура запрограммирована.
Следует отметить, что состоятельные оценки параметров р можно получить и обычной пробит-регрессией, игнорирующей панельную природу данных, но эти оценки будут неэффективны, а их стандартные ошибки будут оценены некорректно.
9.1.3. Пример:
выявление детерминант задолженности по заработной плате
В 1990-е гг. неплатежи и задержки заработной платы стали одним из вынужденных средств адаптации российской экономики к новым рыночным условиям. В предлагаемом примере на данных РМЭЗ исследуется характер зависимости долга по заработной плате, наличие которого отражает бинарная переменная debt, принимающая значение единица, если респондент имел задолженность по заработной плате, и ноль - в противном случае, от индивидуальных характеристик респондента.
Оцениваемое уравнение имеет вид:
Prob(debtit = 1) = bo + bieducit + b2ageit + b3age2it + b4stagnait + Ь5дещ+ + b6marstit + b7city{t + b8isco_1{t + b9isco_2u +...+ Ь^со_7й + Ь^со_8й + ей.
В качестве начального приближения рассмотрим обычную процедуру про-бит-оценивания, игнорирующую панельный характер данных.
Probit estimates
Log likelihood = -6689.5837
Number of obs LR chi2(18) Prob > chi2 Pseudo R2
10794 1583.96 0.0000 0.1059
(=1
debt | Coef. Std. Err. z P>|z| ------+---------------------------------------
educ -.0097868 .0055185 -1 77 0 076
age .035835 .0071306 5 03 0 000
age2 -.000475 .0000844 -5 63 0 000
stagna .0849118 .008532 9 95 0 000
gen -.1353812 .030859 -4 39 0 000
marst -.0017841 .0153579 -0 12 0 908
city -.5223073 .0282049 -18 52 0 000
isco 1 -.2816055 .0875224 -3 22 0 001
isco 2 -.1270906 .0522407 -2 43 0 015
isco 3 -.1715198 .0496234 -3 46 0 001
isco 4 -.3662031 .060064 -6 10 0 000
isco 5 -.4691111 .0608385 -7 71 0 000
isco 6 -.3779202 .17376 -2 17 0 030
isco 7 -.0362381 .0491966 -0 74 0 461
isco 8 -.06042 .0474841 -1 27 0 203
d96 .5011793 .034464 14 54 0 000
d98 .5779015 .0352981 16 37 0 000
d00 -.3716852 .0360992 -10 30 0 000
_cons | -.3901286 .1507308 -2 59 0 010
Очевидно, что вероятность задолженности растет с возрастом и стажем работы на данном месте, для женщин она ниже, чем для мужчин, для горожан ниже, чем для сельских жителей. Вероятность задолженности не зависит от семейного статуса и слабо и отрицательно зависит от уровня образования. Для всех профессиональных групп она ниже, чем для групп работников низкой квалификации. В 1996 и 1998 гг. вероятность задолженности значимо выше, чем в 1994 г., зато в 2000 г. она значимо ниже.
Как было отмечено выше, приведенные оценки могут быть менее эффективны, чем оценки панельной пробит-регрессии со случайным эффектом. Посмотрим, так ли это в нашем случае.
Random-effects probit Number of obs = 10794
Group variable (i) : aid_i Number of groups = 3937
Random effects u_i ~ Gaussian Obs per group: min = 1
avg = 2.7
max = 4
Wald chi2(18) = 1230.52
Log likelihood = -6425.7036 Prob > chi2 = 0.0000
debt | Coef. Std. Err. z P>|z|
-------------+- educ | -.0107514 .0078893 -1 36 0 173
age | .042901 .0102503 4 19 0 000
age2 | -.0005653 .0001219 -4 64 0 000
stagna | .1077713 .011419 9 44 0 000
marst | -.0102822 .0203172 -0 51 0 613
debt | Coef. Std. Err. z P>|z| ------+---------------------------------------
city | -.6828093 .0442328 -15. 44 0. 000
isco 1 | -.298468 .1133807 -2. 63 0. 008
isco 2 | -.120898 .0720817 -1. 68 0. 093
isco 3 | -.2164254 .0680787 -3. 18 0. 001
isco 4 | -.3981784 .0829853 -4. 80 0. 000
isco 5 | -.4991976 .0831599 -6. 00 0. 000
isco 6 | -.4947072 .2342688 -2. 11 0. 035
isco 7 | -.0075099 .0671357 -0. 11 0. 911
isco 8 | -.0346067 .0652791 -0. 53 0. 596
d96 | .649137 .0398622 16. 28 0. 000
d98 | .7430593 .0415524 17. 88 0. 000
d00 | -.4694101 .0419477 -11. 19 0. 000
cons | -.4906535 .2151729 -2. 28 0. 023
/lnsig2u | -.4767715 .0745498 -------------+---------------------------------------
sigma_u | .7878987 .0293688 rho | .3830148 .0176172
Likelihood ratio test of rho=0: chibar2(01) = 527.76 Prob >=chibar2 = 0.000
Стандартные ошибки оценок коэффициентов несколько возрасли и сами оценки немного изменились, но в целом выводы не меняются.
Посмотрим теперь на логит-регрессию со случайными эффектами.
Random-effects logit Number of obs = 10794
Group variable (i) : aid_i Number of groups = 3937
Random effects u_i ~ Gaussian Obs per group: min = 1
avg = 2.7
max = 4
Wald chi2(18) = 1109.16
Log likelihood = -6425.8727 Prob > chi2 = 0.0000
debt | Coef. Std. Err. z P>|z| ------+---------------------------------------
educ -.0186126 .0134519 -1 38 0 166
age .0723137 .0174779 4 14 0 000
age2 -.0009547 .0002078 -4 59 0 000
stagna .1842564 .0195419 9 43 0 000
gen -.2935808 .0788712 -3 72 0 000
marst -.0173077 .0347788 -0 50 0 619
city -1.160912 .0760577 -15 26 0 000
isco 1 -.5184956 .1938356 -2 67 0 007
isco 2 -.2039514 .1228729 -1 66 0 097
isco 3 -.3659185 .1160045 -3 15 0 002
isco 4 -.6815935 .1416501 -4 81 0 000
isco 5 -.8516032 .1424288 -5 98 0 000
isco 6 -.8538069 .4011953 -2 13 0 033
debt | Coef. Std. Err. z P>|z| ------+---------------------------------------
isco 7 | -.014164 .1145148 -0. 12 0. 902
isco 8 | -.0583105 .1115143 -0. 52 0. 601
d96 | 1.098994 .0682853 16. 09 0. 000
d98 | 1.262838 .0715524 17. 65 0. 000
d00 | -.8017823 .071996 -11. 14 0. 000
cons | -.8186575 .3665523 -2. 23 0. .026
---------+----------------------
/lnsig2u | .5872119 .0777082 ---------+----------------------
sigma_u | 1.341255 .0521133 rho | .6427252 .0178441
Likelihood ratio test of rho=0: chibar2(01)=526.12 Prob>=chibar2=0.000
Все выводы сохраняются, хотя значения оценок коэффициентов моделей пробит и логит нельзя сравнивать непосредственно.
И в завершении оценим логит-регрессию с детерминированным эффектом.
Conditional fixed-effects logit Number of obs = 6132
Group variable (i) : aid_i Number of groups = 1822
Obs per group: min = 2
avg = 3.4
max = 4
LR chi2(18) = 1049.65
Log likelihood = -1780.37 Prob > chi2 = 0.0000
debt | Coef. Std. Err. z P>|z| ------+---------------------------------------
educ | .0336732 .0350424 0 96 0 337
age .0840919 .1181512 0 71 0 477
age2 .0003831 .0005821 0 66 0 510
stagna .2007279 .0276749 7 25 0 000
gen (dropped)
marst -.030725 .0507237 -0 61 0 545
city (dropped)
isco 1 -.0677049 .2691339 -0 25 0 801
isco 2 .2799555 .2177781 1 29 0 199
isco 3 -.1087625 .1934809 -0 56 0 574
isco 4 -.0553374 .2380427 -0 23 0 816
isco 5 -.10366 .2405099 -0 43 0 666
isco 6 -1.195202 .6488973 -1 84 0 065
isco 7 .1852537 .1909065 0 97 0 332
isco 8 .0671342 .1903543 0 35 0 724
d96 .940399 .2163371 4 35 0 000
d98 .8469935 .4427995 1 91 0 056
d00 -1.456035 .6564571 -2 22 0 027
В этой регрессии значительно сократилось число наблюдений, поскольку исключены все индивидуумы с неизменным значением зависимой переменной. Эф-
фективность оценок в связи с этим снизилась. Сохранилась значимая зависимость прежнего знака только от стажа, и по-прежнему значимыми остались временные эффекты.
Вообще же более уместно сравнение приведенных регрессий проводить с помощью предельных эффектов.
9.2. Модель тобит
Модель тобит используется, если зависимая переменная является количественной, но не все ее значения доступны для наблюдения, например, мы не можем наблюдать заработную плату индивидуума, если она меньше величины резервной заработной платы, или мы не можем наблюдать в данных РМЭЗ заработную плату индивидуумов из высокодоходных групп населения. Формулировка модели тобит со случайным эффектом отличается от формулировки модели пробит со случайным эффектом правилом отбора наблюдений [19]:
у* = х'„ р+а +е >
где у и = у*, если у* > 0 (здесь для простоты взят ноль в качестве ограничения снизу);
У и = ° если У* £ °
Относительно а и еи делаются обычные предположения о нормальности, независимости, одинаковой распределенности с нулевым математическим ожиданием и дисперсиями &2а и иге и независимости от Ха,...,Xа. При этих предположениях функция правдоподобия запишется в виде
¥
I(Уя,...,уа X,...,X а,р)= { ПI(у» Iх иР)I(а)¿а,
1 I 1 «,2
где 1 (а )= г— ехр, 2 2 л/2рст„ v 2 ~
1 (У и 1 х и &„ р)= I-- ехР
I 1 V а \2 Л
если у» > 0
1 (у» - х'и р-а)2
е
= 1 -фГХР+а I, если уй = 0.
Для создания полноты картины следует добавить, что можно использовать другие формы цензурирования, например, для оценивания упорядоченной про-бит-модели со случайными эффектами. Во всех случаях интеграл по а, будет браться численно.
Лекция 10.
10. Методы борьбы с истощением выборки 10.1. Анализ несбалансированных панелей
До сих пор мы имели дело только с полными или сбалансированными панелями, т.е. случаем, когда все объекты наблюдаются на протяжении одного и того же периода времени. Однако в типичных экономических эмпирических приложениях чаще приходится иметь дело с неполными панелями. Например, в процессе сбора данных относительно американских авиалиний через какое-то время обнаруживается, что некоторые фирмы ушли с рынка, в то время как новые участники появились в течение наблюдаемого периода. Точно так же при исследовании рабочей силы или анализе потребления на базе панелей домашних хозяйств можно обнаружить, что некоторые домашние хозяйства переместились или распались и больше не могут быть включены в панель.
Аналогичная ситуация имеет место при сборе данных относительно набора стран. Некоторые страны могут быть прослежены назад в прошлое дольше, чем другие.
Эти типичные сценарии ведут к несбалансированным или неполным панелям.
В этой главе будут изложены эконометрические проблемы, связанные с оцениванием таких неполных панелей, и проанализированы их отличия от случая полных данных. Мы будем предполагать в этой главе, и это очень существенное предположение, что панельные данные являются неполными из-за случайно пропущенных наблюдений.
10.1.1. Модель однокомпонентной ошибки с несбалансированными данными
Чтобы упростить изложение, мы будем анализировать панель, состоящую всего из двух объектов, с неравным числом временных наблюдений, т.е. два временных ряда неравной длины для двух различных индивидуумов (или стран, фирм и т.д.) и затем обобщим анализ для случая N единиц.
Пусть П1 будет длина временного ряда, наблюдаемого для первого индивидуума (/ = 1) и П2 будет числом дополнительных наблюдений ряда времени, доступных для второго индивидуума ( = 2). В таком случае для второго индивидуума у нас в распоряжении имеется (щ + П2) наблюдений. Тогда уравнение модели можно записать в виде
где ошибки и содержат случайную индивидуальную компоненту (и и = т + еи); У1 и У2 - векторы размерности щ и щ + щ соответственно; Х1 и Х2 - матрицы размерности п1 х К и (п1 + п2 )х К соответственно. В этом случае и[ = (и11,...,и1 щ ) и
4 = (и
2 « '
, и
2,«! + «2
), и ковариационная матрица вектора случайного воз-
мущения имеет вид
о =
1«1 +
0 0
ст2I« + ст2 з
а т Зп1п1
а т Зпп2
«2 ~ т «2 _
ст21« +а2 з.
где I« обозначает единичную матрицу порядка «; 3п. - квадратная матрица из единиц порядка «; 3 «, - прямоугольная матрица из единиц размерности « х «,■.
Заметим, что все ненулевые внедиагональные элементы равны ст2. Кроме того,
если положить
Т, « для ■ = 1,2, то очевидно, что О-блочно-диагональная
матрица с '-ым блоком
1Т -Т,
■ 0
-1/2
= 1т] -в,)^ > где
-1/2
•У,- =
Вектор О- у будет состоять из элементов вида у]( - в ,у,, , где 1 ^
— ^ у. Заметим, что в, зависит для каждого '-го индивидуума от Т,. Та-
] í=l
ким образом, оценки ОМНК могут быть получены так же, как и в полных панелях. Основное различие состоит в том, что в неполных панельных данных веса существенно зависят от длины временного ряда, который имеется в нашем распоряжении для конкретного индивидуума.
Полученный выше результат обобщается в двух направлениях:
1) сделанные выводы остаются справедливыми независимо от длины периода, на протяжении которого наблюдаются оба объекта одновременно;
2) результаты распространяются от случая выборки из двух объектов до случая выборки из N объектов.
Доказательство просто. Так как недиагональные элементы матрицы кова-риации равны нулю для наблюдений, принадлежащих различным фирмам, О остается блочно-диагональной, поскольку наблюдения упорядочены по фирмам.
Также все ненулевые внедиагональные элементы равны а Таким образом,
матрица О--1'2 может быть получена тем же способом, что и выше.
В общем виде регрессионная модель с однокомпонентной случайной ошибкой для несбалансированных панелей задается в виде
1=1
Уи = a+ Кb + Uit, i = 1....Д, t = 1,...,Ti
itг it >
u« = m + e
где Xit - вектор регрессоров; m ~ iiN(0, ст^;) и не зависит от et ~ iiN(0, s]). Эта панель несбалансирована, поскольку разные индивидуумы наблюдаются в течение различных временных периодов Ti для i = 1,...,N.
Переписав это уравнение в векторной форме, мы получаем
y = ain + X b + м = Z8 + м м = Zmm + e,
где y и Z размерностей (n, 1) и (n, K) соответственно; Z = (in,X), 8' = (a', b),
n = ^ T, Zm = diag (iT ) и iTi, in - вектора из единиц размерности Tt и n соответст-
i \ венно; m = (m>m—m) и s = (Sii,....,SIti,....,SnI,...,SMn).
Оценка МНК
8мнк =(Z'Z )-1 Zy
будет наилучшей линейной несмещенной оценкой, если s^ равна нулю. Даже когда s^ положительна, МНК дает несмещенные и состоятельные оценки коэффициентов (если, конечно, нет корреляции между X и ошибкой), смещены будут лишь стандартные ошибки. Обозначим регрессионные остатки иМНК = y - Z8MHK. Оценка «within» вектора коэффициентов в
b = ( X X )-1 X' У
может быть получена преобразованием б=dagl h - -1 зависимой и независи.
мых переменных: X = QX, y = Qy. Оценка свободного члена: a = y.. -X..b, где у.. = ^^yit /n. Остатки «within» имеют вид м = y — ain -Xb. Оценка «between» вектора коэффициентов:
8В =( Z'PZ )-1 Z'Py,
г JT л В )
где P = diag I и остатки «between» имеют вид u = y - Z8B.
Оценка ОМНК в случае, если известна истинная ковариационная матрица, получается следующим образом:
80МНК =( Z' W-1Z )-1 Z' W-1 y,
где W = S = E (мм') с S = diag
jM +1) ^
+ di ag
^IT - T Л
V Tj T .
V j 0
Теперь следует обратиться к более естественной ситуации с неизвестной ковариационной матрицей, компоненты которой подлежат оцениванию.
10.1.2. ANOVA-методы оценки ковариационных матриц
ANOVA-метод - один из самых популярных методов для оценки компонент дисперсии. Он представляет собой разновидность метода моментов, в котором приравнивают суммы квадратов остатков к их математическим ожиданиям и решают получившуюся таким образом линейную систему уравнений. Для сбалансированной модели ANOVA-оценки - лучшие квадратичные несмещенные (BQU - best quadratic unbiased) оценки компонент дисперсии [14]. При условии нормальности случайных возмущений эти ANOVA-оценки являются несмещенными и эффективными. Для несбалансированной модели с однокомпонентной ошибкой BQU-оценки компонент дисперсии есть функция самих этих компонент, но оптимальные свойства этих оценок, кроме несмещенности, утрачиваются [16].
ANOVA-методы для несбалансированных панелей являются обобщением случая сбалансированных панелей.
Рассмотрим две квадратичные формы, определяющие «within» и «between» суммы квадратов случайных ошибок:
q1 = u'Qu и q2 = м'Рм,
( JT л (JT л
где Q = di ag I - ~Y~\ и P = di ag I ' Поскольку истинные случайные возмущения неизвестны, мы, следуя Уолласу и Хусейну [21], будем пользоваться остатками МНК и рассматривать математические ожидания квадратичных форм:
E (qi ) = E (и'мнкQMMHK ) = Six* + 812Sl
E (q2 ) = E (и'мНКРММНК ) = d21Sm + S22Se >
где
Sx1 = tr ((Z'Z)-1 Z'Z^Z^Z)-tr ((Z'Z)-1 Z'PZ (Z'Z)-1 Z'Z^Z^Z),
S12 = n - N - K + tr ((Z'Z)-1 Z'PZ),
521 = n - 2tr ((Z'Z)-1 Z'ZpZ'm)+ tr ((Z'Z)-1 Z'PZ (Z'Z)-1 Z'ZmZ'mZ),
522 = N - tr ((Z'Z)-1 Z'PZ).
Подставляя qt вместо их математических ожиданий и решая полученную систему уравнений, мы приходим к оценкам компонент дисперсии типа Уолласа и Хусейна [21].
Аналогично мы можем подставить остатки «within» в исходные квадратичные формы и получить qx = u'WQuW и q2 = u'WPuW, что предлагал делать Амемия
[2] для сбалансированного случая. Математические ожидания этих квадратичных форм:
E (q ) = ( n - N - K +1)<
E (q2 ) = ( N -1 + tr [(X'QX )-1 X'PX ]-tr (X'QX )-1 X' JX
S +
1 N
'-1S T 2
Приравнивая соответствующим математическим ожиданиям, мы получаем оценки компонент дисперсии, предложенные Амемией:
S =
&l = u'WQuW / (n - N - K +1), )W PuW -{n -1 + tr [(X'QX )-1 X'PX ]-tr (X'QX )-1 X' jJlX
-sNi^/-
Можно получить оценки Свами и Арора [15], пользуясь суммами квадратов остатков регрессий «within» и «between» одновременно. Здесь приравниваются
квадратичные формы q1 = u'WQuW и = u'BPuB и их математические ожидания:
E(q ) = (n - N - K + 1)s2 E ( qB ) = [n - tr (( Z'PZ )-1 Z'Z mZ'm Z )]S +( N - K
Оценка S2e = u'WQuW /(n - N - K +1) как у Амемии, а оценка параметра выглядит следующим образом:
S =
вPuf-(N -Kу
n - tr ((Z'PZ )-1 Z'ZiZ'iZ)'
Заметим, что первое слагаемое числителя - ивРив - может быть получено
как сумма квадратов остатков регрессии -у/Гу. на -у/ГХ. •
В заключение можно привести еще один метод, который в литературе получил название метода Хендерсона - Фуллера - Баттес [7, 11]. Этот метод использует предсказанные значения констант:
s2 = y'y - R (d|i)-R (i)
n - N - K +1
?2 = R (l|d)-(N -1)Se2 1 n-tr (ZIZ (Z'Z )-1 Z'Zi)'
-1 N y2 ,
где R (i) = y'Zi(Z'iZi)- Z'My = S^> R (|i) = УXX (XXX' y, R (d) = yZ (Z'Z )-1 Zy
и R (i| d) = R (d|i)+ R (i)-R (d).
i=1
добия.
Помимо изложенных методов используется метод максимального правдопо-
10.2. Панели с замещением
Впервые панели с замещением рассмотрел в 1981 г. Бьерн [4]. Конструирование подобных панелей преследует цель поддержания одного и того же числа объектов, например домохозяйств, в выборке на протяжении всего периода наблюдения. Это достигается за счет того, что выбывающие к моменту нового этапа опроса домохозяйства замещаются таким же числом новых домохозяйств, не участвовавших в опросе ранее. Подобная мера призвана препятствовать постоянно происходящему истощению выборки, так как домохозяйства могут менять место проживания, распадаться, делиться, наконец, просто по каким-то причинам отказываться дальше участвовать в опросе. Так, в бюджетном обследовании норвежских домохозяйств, на основании которого написал свою работу Бьерн, половина выборки обновлялась на каждом этапе опроса.
Чтобы проиллюстрировать основные приемы работы с такими панелями, предположим для простоты, что Т = 2 и половина выборки обновилась во втором периоде. В этом случае без потери общности домохозяйства 1, 2, ..., N/2 заменены домохозяйствами N+1, N+2, ..., N+N/2 в период 2. Очевидно, что только домохозяйства N/2+1, N/2+2, ..., N наблюдаются на протяжении обоих периодов. Первые же и последние N/2 домохозяйств наблюдаются только по одному периоду. В целом же наблюдение ведется над 3^2 домохозяйствами.
Теперь рассмотрим обычную модель со случайным индивидуальным эффектом
и<, = т +е«
с т ~ (0,ст^) и е ~ iid(0,ст.2), независимыми друг от друга и Xи. Пронумеруем
наблюдения как обычно так, чтобы первый индекс отвечал за номер домохозяйства, а последний за номер периода наблюдения, но упорядочим их немного иначе, чем ранее:
Е (мм') = О =
* ' = (ми>
0 0 0
, м
1И/2 СТ,и /2 0
N1, МИ/2+1,2 0
СТ,и т'и/2 СТ21И/2 0
..., м3
0 0 0
&21И,
2 )
где ст2 = о\ + ст2
Легко заметить, что матрица О - блочно-диагональная и средний блок имеет вид, традиционный для модели однокомпонентной ошибки:
(/2 ® 1и/2 )+ (12 ® /2 ) .
Кроме того
W-1/1 =
S* Т+U1■ - Т 118 ^
гДе (S1* )2 = loi +CTe2-
Домножив исходное регрессионное уравнение на W 1 1 и применив к преобразованной модели МНК, можно получить оценки ОМНК для панели с замещением. Для этого нужно просто поделить данные для первых N/2 и последних N/2 наблюдений на ст. Средние N наблюдений с номерами i = N/2+1, N/2+2,.,.,N и t = 1, 2 нужно преобразовать следующим образом:
(1/°Ж-q'Y.), где в' = 1 -о./о* и Y.=(Yi + Yi)/1.
Аналогичным преобразованиям подвергаются и регрессоры.
Поскольку оценки ОМНК, как правило, бывают недоступны, можно заменить их оценками реализуемого ОМНК, т.е. РОМНК, оценив параметры о1 и ст.1.
Одна состоятельная оценка ст.1 может быть получена из средних N наблюдений (т.е. из наблюдений за домохозяйствами, которые присутствуют в выборке на протяжении всех периодов наблюдения). Для этих наблюдений ст.1 состоятельно оценивается на основании остатков «within»:
11 n г — — '
so = ^Е Е Y-Y,)-(X
t=1 i=N/1+1 L
в то время как полная дисперсия может быть вычислена состоятельно из МНК-остатков регрессии по всей выборке:
о = ст„ +ст„ =
1 1 3 N /1
з N ЕЕ (Y't Xit Ринк ) .
Мы можем переупорядочить наблюдения так, чтобы домохозяйства, наблюдаемые в течение одного периода, стояли в начале, а домохозяйства, наблюдаемые в течение двух периодов, стояли в конце. Такой способ расположения данных сводит задачу оценивания панели с замещением к задаче оценивания несбалансированной панели, в которой N домохозяйств наблюдаются один период и N/2 домохозяйств наблюдаются два периода.
Изложенный РОМНК-метод оценивания панелей с замещением легко распространяется на трехпериодные панели с ротацией N/2 домохозяйств, а также на трехпериодные панели с ротацией N/3 домохозяйств в каждый период и т.д. Для более общих схем ротации и более длинных панелей лучше использовать метод максимального правдоподобия.
Анализ панелей с замещением может быть также легко распространен на системы внешне не связанных уравнений, на системы одновременных уравнений и на динамические модели.
Оптимальный выбор периода ротации изучается в работе Ниймана, Верби-ка и Ван Суста [13] с помощью оценивания линейных комбинаций средних значений наблюдаемых величин по периоду.
Панели с замещением позволяют исследователю протестировать наличие специфических смещений, связанных с моментом структурных сдвигов, которые могут иметь место при пролонгированных обследованиях, т.е. выявить наличие значимых изменений в ответах на одни и те же вопросы у индивидуумов, интервьюируемых с начального периода обследования, и у индивидуумов, подключенных к опросу позже.
10.3. Псевдопанели
Для некоторых стран панели могут не существовать. Вместо них исследователь может располагать обширными данными ежегодных опросов домохозяйств, т.е. повторными пространственными выборками. Возможна ли качественная идентификация параметров регрессионных моделей на основании этих данных? В работах Ниймана и Вербика [20] показано, что в ряде случаев оценки некоторых параметров моделей, основанных на повторных пространственных выборках, оказываются более эффективны, чем оценки, полученные при анализе панелей. Тем не менее некоторые авторы (Хекман и Робб [10], Дитон и Моффитт [6, 12]) настаивают на том, что для оценивания многих общепринятых моделей могут быть использованы синтетические панельные данные, построенные на выборках когорт, а не индивидуумов.
В данном разделе будет рассмотрена модель с индивидуальным эффектом, коррелированным с регрессорами (модель с детерминированным эффектом), и проанализированы свойства оценок, полученных на основании панелей когорт, сконструированных из серий независимых пространственных данных. В этом подходе схожие по некоторым признакам индивидуумы группируются в когорты, после чего выборочные средние характеристики этих когорт рассматриваются в качестве наблюдений в синтетической панели. Поскольку наблюдаемые средние по когортам представляют собой как бы измеренные с ошибкой значения истинных теоретических характеристик когорты, Дитоном было предложено рассматривать модель с ошибками измерения переменных. Эта модель дает состоятельные оценки при достаточно слабых исходных предположениях.
Однако, если число наблюдений в когорте велико, проблему ошибок измерения можно игнорировать и применять к панели когорт те же методы анализа, что и к естественным панелям.
10.3.1. Оценивание по данным о когортах
Рассмотрим следующую линейную модель:
уи = К Р+т + е,
где индекс / нумерует индивидуумов, индекс I нумерует временные периоды. Будем предполагать также, что Е[ей | X, _ = 0 для любых / ,,, t, s. В каждый период
времени доступны наблюдения над N независимыми индивидуумами, т.е. не предполагается, что в предыдущий период наблюдались те же самые респонденты, или не сохраняются их идентификационные номера, присвоенные в предыдущий период.
Во многих приложениях индивидуальный эффект m коррелирован с объясняющими переменными Xit, так что модель со случайным индивидуальным эффектом дает несостоятельные оценки и следует пользоваться моделью с детерминированным индивидуальным эффектом. Когда доступны естественные панельные данные, такая модель оценивается с помощью преобразования «within», элиминирующего индивидуальные эффекты. Однако, очевидно, что эта стратегия неприемлема, когда вместо панели доступны повторные пространственные выборки.
В 1985 г. Дитон предложил конструировать для таких случаев псевдопанель или панель из когорт.
Пусть по некоторым общим признакам индивидуумы группируются в C когорт. Эти когорты определяются таким образом, чтобы каждый индивидуум был членом только одной когорты, и определение самой когорты не меняется в течение всего периода наблюдения. Например, когорта может состоять из мужчин, родившихся в 1945-1949 гг. Модель, записанная для созданных таким образом когорт, примет вид
Главная проблема при оценивании этой модели состоит в том, что индивидуальный эффект когорты зависит от времени и одновременно коррелирует с регрессорами. Пренебрежение этой корреляцией приводит к несостоятельным оценкам, а учет - к проблеме с идентификацией параметров, которая снимается только в случае, если зависимостью ¡ла от ^ можно пренебречь. Последнее возможно, если число индивидуумов в когорте велико.
Альтернативный путь решения проблемы предложил Дитон, который рассматривал регрессионную модель не для наблюдаемых выборочных реализаций когорт, а для когорт во всей их генеральной совокупности:
где величины со звездочкой означают генеральные средние по когортам, и детерминированный индивидуальный эффект когорты теперь не зависит от времени, так как генеральные совокупности когорт содержат одних и тех же индивидуумов на протяжении всего периода наблюдения. Если вдруг окажется, что генеральные средние по когортам наблюдаемы, то последняя модель может быть оценена стандартными средствами. Но так как такая ситуация нереальна, естественнее рассматривать предыдущую модель с выборочными средними по когортам, которые трактуются как измеренные с ошибками генеральные средние. Дитон предположил, что ошибки измерения нормально распределены с нулевым средним и не зависят от истинных значений генеральных средних, т.е.
y* = X'ctb + m + sct, где С = 1,...,C, t = 1,...,Т.
y*t = X*t b + m + , где с = 1,...,c, t = 1,...,т,
Один из путей оценивания параметра р лежит в рамках модели с ошибками измерения. Если обозначить вектор-строку дамми-переменных, отвечающих
г
индивидуальному эффекту когорт, через йс , а вектор столбец соответствующих
им коэффициентов через т = (т,-,тс)', то предложенная Дитоном оценка вектора всех коэффициентов будет выглядеть следующим образом:
г / й'сйс й'сХс, уу1 Г с г / ^ у ^
Р)ЛЬ£ 1х;< х'с,хс,-2^ £IХ'с,ус,-а
где 2 и а - оценки, полученные на основании индивидуальных наблюдений. Если будут выполнены нижеследующие условия, то оценка р будет состоятельна, когда общее число наблюдений СТ а оценка т будет состоятельна, когда
ЫТ / С
Утверждение 1. Матрица моментов теоретических средних объясняющих
1 с г ( й й й' X ,
X X с с с с.г
переменных p lim —— С c ,cc - I не сингулярна.
CTCT c=1 ,=1 VX'ctdc X'ctXct -
Если число наблюдений в когорте не слишком мало, можно попытаться игнорировать проблему ошибок измерения и оценивать модель, предполагая, что генеральные и выборочные средние эквивалентны. В этом случае можно будет получить оценку pw:
bw = f£ X (Xc - Xc ) (Xc - Xc )'] 1 [£ £ (Xc - Xc ) (y, - Ус )Ö ,
V с=1 t=1 0 V с=1 t=1 0
1 T 1 T
где Xc = — X Xct ' Ус = — X Ус • 1 t=1 1 t=1
bw будет несмещенной, если E[mct - m I Xct -Xc ]= 0, т.е. индивидуальный эффект когорт не коррелирует с регрессорами, и выполняется следующее утверждение.
Утверждение 2. Матрица моментов выборочных средних объясняющих
1 с T ,
переменных по когортам plimстХХ(Xct -Xc) (Xct -Xc) не сингулярна.
CT CT c=1 t=1
Если число наблюдений в когорте NIC велико, то условие E[mct - m I Xct -Xc ] = 0 выполняется. Но при этом следует отметить, что увеличение числа наблюдений в когорте приводит к уменьшению числа самих когорт в синтетической панели и, таким образом, к увеличению стандартных ошибок оценки bW . Выбор оптимального принципа разбиения на когорты должен учитывать влияние разбиения на величину смещения оценок и на величину дисперсии оценок.
10.3.2. Влияние выбора когорт на величину смещения
Первое, что нам предстоит выяснить, - справедливость утверждения, что большое число наблюдений в когорте избавляет от необходимости учитывать проблему ошибок измерения. Зафиксируем для простоты число наблюдений в когорте N/C. Чтобы упростить аналитические результаты, мы аппроксимируем смещение конечных выборок асимптотическим смещением при больших С и N. Как показали численные эксперименты, эта аппроксимация достаточно точна при С ~ 10-20. Будем рассматривать для простоты линейную модель с одним регрессором:
у„ = Xi, Д+т + е,
где, следуя Чемберлену, предположим, что выполняется следующее утверждение.
Предположение 1. Регрессионная зависимость индивидуального эффекта с регрессором имеет вид
/л. = IX,.+Х, где E(£ | X, ) = 0 для всех г =1,...,Т и V(£) = ст#2.
Тогда 1 = 0 - достаточное условие состоятельности Д. Принцип конструирования когорт формулируется следующим образом.
Предположение 2. Когорты формируются на основании непрерывно распределенных, с дисперсией равной единице, независимых по индивидуумам величин г. Более того, когорты выбираются так, чтобы безусловная вероятность принадлежности к одной из них была одна и та же для всех когорт.
В соответствии с этим предположением все когорты имеют примерно одно и то же число членов. На практике переменная г может основываться более чем на одной переменной, но выбор г ограничен следующими соображениями:
• г, должна быть постоянной по времени для всех индивидуумов, так как индивидуумы не должны переходить из когорты в когорту;
• г, должна быть наблюдаема для всех индивидуумов в выборке.
Последнее требование означает, что в качестве не может быть использована переменная типа «заработная плата в 1988 г.» или «размер семьи на 1 января 1990 г.», так как подобные переменные, как правило, не наблюдаются для всех индивидуумов в выборке. Обычно на практике для выделения когорт используются такие переменные, как пол и дата рождения.
Чтобы оценки обладали хорошими свойствами, генеральные средние по когортам должны изменяться и по когортам, и по времени. Для моделирования этого обстоятельства будем использовать следующее предположение.
Предположение 3. Регрессионная зависимость между Xit и имеет вид Xа = в, + 7,г, +, где в, - детерминированный временной эффект, а V, не коррелирует с , имеет нулевое математическое ожидание и постоянную дисперсию Сту , и Е {уйуй } = р&1 для s Ф , .
Можно показать, что при всех выше сделанных предположениях асимптотическое смещение оценки «within» имеет вид
plim(fa - b) = l
1 + (T -1) p
= 8,
T
где t = (T -1) / T, w2 - дисперсия ошибки измерения Xct, т.е.
1 C T * 2
« = plim CT ZZ (Xc- X*,) = «-Ч2,
C®» c=1 t=J
где nc - число индивидуумов в каждой когорте (N/C), а « - истинная дисперсия «within» для когорт
1 C T 2 1 T / 1 T Л21 T / 1 t Л2
«=p iim ^ zz(x: - x* )2 = 1 zq - T ze ) + T zfg - T Sg 1 •
с ®» ^ c=1 t=1 J t=1 V J ^=1 0 1 t=1V J ^=1 0
В рамках предположения 3 можно легко проверить, что утверждение 1 выполняется при « > 0, в то время как утверждение 2 выполняется при « + тсо2 > 0, что возможно только тогда, когда в. или gt варьируются со временем. Если это не так, предел по вероятности для оценки Дитона не существует, а смещение оценки «within» будет максимальным и равным
plim(bw - b) = l
1 + (T -1) p
T
= 8m
что не зависит от размера когорт. Выбор больших когорт будет уменьшать смещение только при « > 0. Поскольку w2 - убывающая функция nc, смещение оценки «within» минимально, если число наблюдений в каждой когорте максимально велико.
2
Если отношение « / sv не слишком мало, то реальное смещение будет много
меньше, чем максимальное смещение при больших nc. Например, если «/сту2 =0,5, легко вычислить, что смещение будет меньше 2% от максимального смещения при наличии в когорте 100 или более членов. Если же aJ/sv =0,05, то смещение будет составлять более 17% .
Если говорить об эмпирических приложениях, то чаще всего ошибки измерения игнорируются, и используется стандартная оценка «within». Следует заметить, что размер когорт может быть выбран меньше, если переменная zi - идентификатор когорты - выбрана таким способом, что истинная дисперсия «within»
2
для когорт велика по сравнению с sv.
10.3.3. Влияние выбора когорт на дисперсию
В предыдущем подразделе было показано, что смещение оценки «within» для синтетической панели может быть мало, если число наблюдений в когорте
достаточно велико. Однако, увеличивая число наблюдений в когортах, мы тем самым уменьшаем число самих когорт, т.е. число наблюдений в синтетической когорте (СТ), а следовательно, увеличиваем дисперсию оценки Д • В этом подразделе будет более детально проанализировано влияние выбора числа когорт на дисперсию Д • Будет показано, что разность между истинной дисперсией Д и пределом по вероятности ее приближенного значения является исключительно функцией смещения.
Асимптотическая дисперсия Д может быть записана следующим образом:
V {Д } = Сг +г®2 )-2 V *,
где V = р Иш V
1
С т
У4Ст с=1 г=1
Следует заметить, что математическое ожидание выражения в фигурных скобках в последней формуле не равно нулю из-за несостоятельности оценки (если Хф 0 ). Более того, суммирование по с и I не является ни суммированием независимых, ни суммированием одинаково распределенных величин. Это усложняет дальнейшие выкладки. Но при дополнительных предположениях о том, что
Хсг, [¿а и есг нормально распределены, дисперсию Д можно записать в виде
V {Д }=ССтт [кп- )(®1+™2 )-1+52 ],
где 5 - это асимптотическое смещение оценки Д и
= с2 п-1 +12
1 + (т -1) р
Увеличение размера когорт пс влияет на дисперсию Д двояким образом:
• снижаются дисперсии ошибок измерения сог и ошибки уравнения о1 +ст.? п-1;
• снижается общее число наблюдений СТ.
Первый эффект является доминирующим, так что, увеличивая пс, можно вызвать уменьшение дисперсии Д для синтетической панели.
В стандартных пакетах используется следующая оценка дисперсии:
V {Д } = <
ЕЕ( X, - х •)
_ с=1 г=1
которая не является состоятельной, но в общем случае сходится по вероятности к
17 {Д } = С2 Ст (®1 +Та>2 )-1>
где о2 = plimO2 = о^ + о2еncl -d2 (w1 +tw2) 1 представляет собой недооцененную ис-
C
тинную дисперсию ошибки (ст| + оО) n-1. Используя этот предел по вероятности, можно записать оценку дисперсии в виде
17 {bw } = Cf [02 + Os n-1 )(w + W )-1 -d2 ] .
Из этого выражения явствует, что разница между истинной дисперсией и пределом по вероятности оцененной дисперсии равна 2d2 / Cf и будет мала при небольших смещениях d.
10.3.4. Приложение: оценивания кривой Энгеля
В качестве иллюстрации рассмотрим оценивание кривой Энгеля для расходов на питание в немецких домохозяйствах, проделанное в работе Вербика и Ний-мана [20]. Работа выполнена на основании ежемесячных повторных пространственных выборок из 367 домохозяйств, наблюдаемых в течение 1986 г.
Оцениваемая модель имеет вид
w = binхи + m + e, t = 1,...,12,
где w>u - доля расходов на питание в общем бюджете; lnX ¡t - натуральный логарифм общих расходов на товары недлительного пользования. Индивидуальный эффект m отражает влияние специфических характеристик домохозяйств (возраст, образование, размер семьи и т.д.), которые являются неизменными на протяжении периода наблюдения. Очевидно, что эти переменные коррелируют с общими расходами на товары недлительного пользования, и поэтому предпочтительнее использовать модель с детерминированным индивидуальным эффектом. Будем предполагать также, что выполнено предположение 1 предыдущего подраздела:
m = iin x¡.+x.
Конструирование когорты будет производиться на основании данных о дате рождения главы домохозяйства, как и во многих аналогичных исследованиях. Поскольку связь между возрастом и общими расходами скорее всего нелинейна, в качестве переменной-идентификатора когорты, zi, выбирается квадрат отклонения индивидуальной даты рождения от средней даты рождения в выборке, выраженной в годах и месяцах. Далее преобразована так, чтобы ее дисперсия была равна единице. Согласно предположению 3
ln X и = q + gz¡ + vu.
Используя 367 наблюдений сбалансированной подпанели, легко получить состоятельные оценки параметров с помощью метода наименьших квадратов, представленные в таблице (в скобках приведены стандартные ошибки):
ß -0,188(0,006) q 12,235(0,041) g —0,147(0,028)
l 0,110(0,007) q 12,085(0,041) g 2 —0,132(0,028)
0,105 q 12,202(0,037) g —0,164(0,026)
s 0,072 q 12,238(0,041) g 4 -0,150(0,028)
0,305 q 12,270(0,043) g5 -0,170(0,030)
P 0,634 q 12,165(0,041) g6 —0,156(0,028)
q 12,161(0,046) g7 -0,156(0,022)
0,00681 q 12,152(0,042) g8 -0,139(0,029)
q 12,180(0,039) g9 -0,154(0,027)
q10 12,328(0,042) g10 -0,162(0,029)
12,224(0,043) g11 -0,181(0,030)
^12 12,385(0,048) g12 -0,233(0,033)
Все оцененные значения у1 отрицательны в предположении, что общие расходы на товары недлительного пользования максимальны в среднем возрасте 49,2 года. Хотя сами значения в1 и у1 значимо отличаются от нуля, их общая дисперсия, вычисленная как указано в подразделе 10.3.2 - со1 = 0,00681, - мала
по сравнению с = 0,305. Хотя зависимость возраста от общих расходов существенна, оснований думать, что вид этой зависимости значимо меняется со временем, не обнаруживается. В частности, оценка, вычисленная методом Дитона с учетом ошибок измерения переменных, указывает на этот факт, поскольку дисперсия этой ошибки обратно пропорциональна со1.
Необходимо протестировать справедливость предположения 3 и структуру ковариационной матрицы уй . ЪМ-тест на автокорреляцию первого порядка дает значение тестовой статистики 0,057, что позволяет сделать вывод о том, что наша модель вполне согласуется с данными.
"1 - 1) р г
Из выражения plim(ßw - ß) = l ——~ = dmax мы немедленно получаем,
C T _
что максимальное смещение оценки «within», основанное на данных по когортам за 12 периодов, равно 0,0731, что составляет 39% от (оцененной) истинной величины. Принимая во внимание, что выбор переменной-идентификатора когорт - в наших руках, мы можем элиминировать часть этого смещения, увеличив размер когорт. Это иллюстрируется табл. 1, где теоретическое смещение оценки «within» приведено для различных размеров когорт.
Заметим, что смещение медленно уменьшается с ростом размера когорт. Величины в последних столбцах вычислены в соответствии с выражениями
17 (Äw } = s Cf (w +w )-1 и V {ßw } = C^ [(s +CTev )(w +W )-1 _.
Несмотря на то, что смещение значительно, различия этих двух стандартных ошибок невелики. Обе стандартные ошибки растут с увеличением размера
когорт, что вызвано уменьшением общего числа наблюдений. На фоне этого роста эффект уменьшения ошибок измерения при увеличении размера когорт пренебрежимо мал.
Таблица 1.
Пс Смещение (абсолютные значения) Смещение, % Предел оцененной стандартной ошибки/ у/И Истинная стандартная ошибка/ у/И
2 0,0695 37,0 0,099 0,124
5 0,0650 34,6 0,152 0,171
10 0,0586 31,2 0,205 0,220
25 0,0453 24,1 0,287 0,298
50 0,0329 17,5 0,348 0,356
75 0,0258 13,7 0,379 0,386
100 0,0212 11,3 0,398 0,404
150 0,0157 8,3 0,420 0,424
200 0,0124 6,6 0,433 0,436
Таким образом, на основании всего вышесказанного можно сделать вывод о том, что в псевдопанелях, состоящих из больших когорт (100, 200 индивидуумов), искусственная природа наблюдений преодолевается.
10.4. Смещение самоотбора в неполных панелях
По различным причинам эмпирические панельные данные часто являются неполными. Причиной неполноты может быть и истощение, и работа с несбалансированными панелями. Иногда респонденты отвечают не на все предложенные им вопросы.
Последствий этой неполноты данных может быть несколько.
Первое последствие имеет вычислительный характер. Большая часть выражений, приведенных выше, не предполагает, что наблюдения могут быть пропущены. Самое простое решение проблемы - исключить из рассмотрения респондентов, по которым имеются пропущенные наблюдения, и рассматривать только тех, о которых имеется полная информация. В этом подходе мы будем оценивать зависимости только по сбалансированным подпанелям. Это удобно с вычислительной точки зрения, но крайне неэффективно: значительная часть информации будет просто отброшена. Использование несбалансированных панелей повышает эффективность оценок, но усложняет вычислительную процедуру.
Второе последствие - возможность смещения отбора - носит более серьезный характер. Если индивидуумы наблюдаются неполностью по эндогенным причинам, то использование сбалансированных подпанелей или несбалансированных панелей не помогут устранить смещение самоотбора оценок. Чтобы развить эту мысль, рассмотрим модель вида
у, = Xi, Д+а + е.
Далее определим индикаторную величину г, (ответ) так, что г, = 1, если (Хи, уи) наблюдаются, и ги = 0, если нет. Наблюдения (X и, у и) являются пропущенными случайно, если ги не зависит от а и еи. Это означает, что причины, обуславливающие процесс отбора, не влияют на условное распределение уи при данных Хи . Если мы хотим сконцентрироваться на сбалансированных подпане-лях, то гп = ... = гТ = 1, и еще мы требуем, чтобы ги не зависели от а и еп,...,ет . В этом случае обычные свойства состоятельности оценок не нарушаются, если мы ограничиваем свое внимание только доступными или полными наблюдениями. Если отбор зависит от случайной ошибки уравнения, оценки МНК, модели со случайным и детерминированным эффектами могут страдать смещением самоотбора.
10.4.1. Оценивание при наличии случайно пропущенных данных
Если индикаторная переменная г, не зависит от каких-бы то ни было ненаблюдаемых величин, то состоятельные оценки моделей с детерминированным и случайным эффектами для несбалансированных панелей можно переписать в виде
I N Т Л-1 N Т
Ь = IXX ■ (хй - X.)(X - X.) I ££/■„ (X - X.)(уи - у.),
V 1=1 г=1 0 1=1 г=1
I N Т , N 1
Ьомнк = I XX Г, (X« - X.) (X - X.)+ X тт Т (X. - X..) (X. - X..;
V1=1 г=1 1=1
I N Т N 1 I
•I XX ( - X.)Х« - у Т (Х. - X..) (у. - у..) I,
V 1=1 г=1 1=1 т 0
ТТ
г , Тп-Т Xг,у и X гиХ-и где Т2 = , у.= ^-, X .= -'=1
2 > Л» Т > /• Т
— ~
,=1 ,=1
X ■ X
г=
ен
чить следующим образом:
Состоятельные оценки для неизвестных параметров ст.2 и п2а можно полу-
2
п = —
1 N Т , , ^
-XXI« ( у, - у. -(X* - X.) Ь)
Xт - N -1 г=1
п = NX (у.-X'JB)2-ТП
1=1 ё 1
10.4.2. Тестирование наличия смещения самоотбора
Однако предположение о независимой природе ги может быть нереалистичным. Например, оценки регрессии, объясняющей доходность взаимных фондов,
часто страдают смещением из-за того, что часть фондов с низкой доходностью ликвидируется в процессе наблюдения. При изучении влияния уровня безработицы на величину индивидуальной заработной платы оценки могут быть смещены из-за того, что люди с относительно высокой заработной платой в случае повышения уровня безработицы с большей вероятностью покидают рынок труда.
Если г» зависит от д и ви, смещение сомоотбора может отразиться на стандартных ошибках. Это означает, что распределение у при данных X в конкретной выборке и отличается от распределения у при данных X (которое, как правило, нас интересует). Для состоятельности оценок модели с детерминированным эффектом необходимо потребовать, чтобы
Е{(X, - Х.КК,..., га } = 0.
Значит, если факт отсутствия наблюдения в выборке говорит нам нечто об ожидаемом значении случайной ошибки, связанной с X и, то оценки будут несостоятельными. Однако отбор на основании ненаблюдаемых д не всегда ведет к несостоятельности оценок. Несостоятельности может и не быть, даже когда еи и ги зависимы, лишь бы эта зависимость была инвариантной по времени.
Для состоятельности оценок модели со случайным эффектом необходимо выполнение условия
Е{Xt.at | /■„,...,га }= 0.
Если индивидуум с определенным значением ненаблюдаемой д с большой вероятностью будет отсутствовать в новой волне обследования, это приводит к смещению оценки модели со случайным эффектом, а если индивидуум с определенным значением шока е» с большой вероятностью будет отсутствовать в новой волне обследования, это приводит к несостоятельности оценок модели со случайным эффектом. Таким образом, оценки модели с детерминированным эффектом более робастны, чем оценки модели со случайным эффектом.
Еще одно важное наблюдение состоит в том, что оценки, полученные по несбалансированным панелям, меньше страдают от смещения отбора, чем оценки, полученные по сбалансированным подпанелям. Просто величина смещения будет иной.
Вербик и Нийман [18] предложили ряд простых тестов на предмет смещения самоотбора, основанных на изложенных выше соображениях.
Во-первых, поскольку условие состоятельности констатирует, что случайный член должен быть - в том или ином смысле - независимым от индикатора отбора, один из тестов может просто состоять во включении в модель каких-либо функций от га,...,гт и проверки значимости этих включений. В качестве основной гипотезы будет выступать утверждение, что если некий индивидуум наблюдается все периоды с 1 до Т, то это не дает никакой информации о его ненаблюдаемых характеристиках. Очевидно, что просто добавить в регрессию г» нельзя, так
как это ведет к мультиколлинеарности: у всех индивидуумов, попавших в выбор-
т т
ку, г» = 1. Вместо этого добавлять следует либо гй-1, либо с ги, либо Т г».
»=1 t=l
Правда, это не подходит для сбалансированных подпанелей и работает только в модели со случайным эффектом. Поэтому, если основная гипотеза не отвергается, это еще не означает отсутствия смещения отбора из-за невысокой мощности теста.
Другая группа тестов основывается на идее сравнения четырех различных оценок, полученных по сбалансированной и несбалансированной панелям в моделях со случайным и детерминированным эффектами. Все они страдают от смещения отбора, но по-разному. Все оценки можно сравнивать попарно, но при этом иметь в виду, оценки моделей со случайным и детерминированным эффектами могут различаться не только из-за смещения отбора. Поэтому более естественно сравнивать оценки одноименных моделей, полученные в сбалансированном и несбалансированном случаях. Для сравнения удобно использовать статистику Хаусмана:
X = (р - РРе ) [V { Рве }-17 { РРе }]-1 (р - РРе ),
где V означает оценку ковариационных матриц, а индексы В и и относятся к сбалансированной и несбалансированной панелям соответственно. Аналогично формулируется статистика для модели с детерминированными эффектами. Если
2
верна основная гипотеза, тестовая статистика подчиняется с -распределению с
К степенями свободы. Но статистика может быть мала не только в случае справедливости основной гипотезы, но и в случае, когда оценки страдают от смещения отбора одинаково. Тест не способен различить эти ситуации. Его, так же как и обычный тест Хаусмана, можно проводить для подмножества коэффициентов.
10.4.3. Оценивание при наличии неслучайно пропущенных данных
Смещение самотбора является одной из разновидностей проблемы идентификации. Как следствие, невозможно состоятельно оценить параметры модели при наличии смещения отбора без дополнительных предположений. Рассмотрим в качестве иллюстрации пример, где индикатор отбора объясняется пробит-моделью со случайным эффектом:
г* = +% >
где га = 1, если гй* > 0 и ги = 0 в противоположном случае, а 2 и - это вектор экзогенных переменных, который включает X и. Пусть модель, которую мы намереваемся оценивать, задана уравнением
у и = х и р+а + е.
Предположим, что случайные компоненты в обоих уравнениях имеют совместное нормальное распределение. Эта модель является обобщением модели Хекмана [9], построенной для случая пространственных выборок. Влияние принципа отбора отражается на математических ожиданиях ненаблюдаемых эффектов, условных по экзогенным переменным и индикаторам отбора:
Е {а 121>...> 2тт , га,..., га } = о,
Е{е I гл — 2ТТ,ra,..., Гт } =
Первое из приведенных выражений равно нулю, если соу { а, X } = 0, а если еще соу { ег }= 0, то тогда оценки модели со случайным эффектом состоятельны. Может быть показано, что последнее выражение инвариантно по времени, если соу{еи} = 0 или 2'иу инвариантно по времени. Это необходимые требования для состоятельности оценок модели с детерминированным эффектом.
Оценивание в более общем случае существенно затруднено. Хаусман и Вайс [8] рассмотрели случай панели из двух периодов, где истощение имело место только во втором периоде. В более общем случае одновременное оценивание двух уравнений требует двумерного численного интегрирования (по двум индивидуальным эффектам).
В настоящее время модель Хекмана на панельных данных реализована теоретически на основании непараметрического регрессионного анализа. Существуют также эмпирические работы, пока немногочисленные, где использованы эти методы. В частности, на кафедре математической экономики и эконометрики ГУ ВШЭ была защищена магистерская диссертация (Разин А.), посвященная исследованию предложения труда на панельных данных РМЭЗ, в которой был разработан программный модуль для панельного варианта модели Хекмана в среде БТЛТЛ.
В скором времени будет издан учебник Марно Вербика в переводе на русский язык, где анализу панельных данных уделяется достаточно пристальное внимание. Избранные главы этого учебника печатаются в новом журнале «Прикладная эконометрика», и там содержится несколько более полная информация, связанная с проблемой смещения самоотбора.
* * *
СПИСОК ЛИТЕРАТУРЫ
1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс: Учебник. 5-е изд., испр. М.: Дело, 2004.
2. Amemiya T. The Estimation of the Variances in a Variance-Components Model // International Economic Review. 1971. Vol. 12.
3. Baltagi B. Economertic Analysis of Panel Data. John Wiley & Sons, 1995.
4. Biorn E. Estimating Economic Relations From Incomplete Cross-Section/Time Series Data // Journal of Econometrics. 1981. Vol. 16.
5. Chamberlain G. Analysis of Covariance with Qualitative Data // Review of Economic Studies. 1980. Vol. 47.
6. Deaton A. Panel Data from Series of Cross-Sections // Journal of Econometrics. 1985. Vol. 30.
7. Fuller W.A., Battese G.E. Estimation of Linear Models with Cross-Error Structure // Journal of Econometrics. 1974. Vol. 2.
8. Hausman J.A., Wise D. Attrition Bias in Experimental and Panel Data: the Gary Income Maintenance Experiment // Journal of Econometrics. 1979. Vol. 47.
9. Heckman J.J. Sample Selection Bias as a Specification Error // Journal of Econometrics. 1979. Vol. 47.
10. Heckman J.J., Robb R. Alternative Models for Evaluating the Impact of Interventions: an Overview // Journal of Econometrics. 1985. Vol. 89.
11. Henderson C.R. Estimation of Variance Components // Biometrics. 1953. Vol. 9.
12. Moffitt R. Identification and Estimation of Dynamic Models with Time Series of Repeated Cross Sections. Brown University, Providence RI. Forthcoming in Journal of Econometrics. 1991. [Mimeo.]
13. Nijman Th.E., Verbeek M., van Soest A. The Efficiency of Rotating Panel Designs in Analysis of Variance Model // Journal of Econometrics. 1991. Vol. 49.
14. Searl S.R. Linear Models. N.Y.: Wiley, 1971.
15. Swamy P.A.V.B., Arora S.S. The Exact Finite Sample Properties of the Estimators of Coefficients in the Error Components Regression Models// Journal of Econometrics. 1972. Vol. 40.
16. Townsend E.C., Searl S.R. Best Quadratic Unbiased Estimation of Variance Components from Unbalanced Data in the One-Way Classification // Biometrics. 1971. Vol. 27.
17. Verbeek M. On the Estimation of a Fixed Effects Model with Selectivity Bias // Economics Letters. 1990. Vol. 34.
18. Verbeek M., Nijman Th.E. Testing for Selectivity Bias in Panel Data Models // International Economic Review. 1992. Vol. 33.
19. Verbeek M. A Guide to Modern Econometrics. John Wiley & Sons, 2003.
20. Verbeek M, Nijman Th.E. Can Cohort Data Be Treated As Genuine Panel Data? // Empirical Economics. 1992. Vol. 17.
21. Wallace T.D., Hussain A. The Use of Error Components Models in Combining Cross-Section and Time Series Data // Journal of Econometrics. 1969. Vol. 37.
