5广义矩估计
第1章 广义矩估计 1.1 矩估计 1.1.1 总体矩与样本矩 设总体X 的可能分布族为(){},,F x θθ∈Θ，其中来自参数空间Θ的 ()12,, ,k θθθ=θ是待估计的未知参数。假定总体分布的m 阶矩存在，则总体分布 的k 阶原点矩和k 阶中心矩为 ()() ,1k k k EX x dF x k m α+∝-∝ =≤≤? θθ 1 ()[()]()[()],1k k k E X E x x E x dF x k m μ+∝ -∝ -=-≤≤? θθ 2 两种常见的情况是一阶原点矩和二阶中心矩： ()E X μ= 3 222 2()[()]()Var X E X E X μμσ=-=- 4 一阶原点矩表示变量的期望值，二阶中心矩表示变量的方差。 对于样本12(,,,)n X X X =X ，其k 阶原点矩是： 1 1n k k i i m X n ==∑（1k m ≤≤） 5 当k =1时，m 1表示X 的样本均值。 X 的k 阶中心矩是： ()1 1n k k i i B X X n =-∑（1k m ≤≤） 6 当k =2时，B 2表示X 的样本方差。
1.1.2 矩估计方法 矩方法（moment method ）是一种古老的估计方法。其基本思想是：在随机抽样中，样本统计量将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。 总体分布的k 阶矩为()12,,,K θθθ=θ的函数。根据大数定理，样本矩依概率收敛于总体矩。因此，可以用样本矩作为总体矩的估计，即令： ()12,,,1,2, ,k K k m k K αθθθ== 即： ()1 1,1,2, ,n k k i i x dF x X k K n +∝-∝ = = =∑ ∑θ 7 上式确定了包含K 个未知参数()12,,,K θθθ=θ的K 个方程式，求解上式所构成的 方程组就可以得到()12,,,K θθθ=θ的一组解() 12????,,,k θθθ=?θ。因为m k 是随机变量，故解得的?θ也是随机变量。这种参数估计方法称为矩方法，() 12????,,,k θθθ=?θ即是()12,,,K θθθ=θ的矩估计量。 定理：X 的分布函数F (X )存在2ν阶矩，则对样本的ν阶原点矩m v ，则矩的期望和方差为： []E m ννα=，[]() 2 21Var m n ννν αα= - 8 证明： []11 1111n n n i i i i i E m E X E X n n n νν ννναα===????====????????∑∑∑ []()2 2 Var m Em Em ννν=- 2 211n i i E X n ν να=??=- ? ??? ∑ 2222111n i i j i i j E X X X n n ννν να=≠?? ?=+- ?? ? ∑∑∑ 22221 1 1 n i i j i i j E X E X X n n ννννα=≠????= +-????∑∑∑
广义矩估计（Generalized Method of Moments ，即GMM ） 一、解释变量内生性检验 首先检验解释变量内生性（解释变量内生性的Hausman 检验：使用工具变量法的前提是存在内生解释变量。Hausman 检验的原假设为：所有解释变量均为外生变量，如果拒绝，则认为存在内生解释变量，要用IV ；反之，如果接受，则认为不存在内生解释变量，应该使用OLS 。 reg ldi lofdi estimates store ols xtivreg ldi (lofdi=l.lofdi ldep lexr) estimates store iv hausman iv ols （在面板数据中使用工具变量，Stata 提供了如下命令来执行2SLS:xtivreg depvar [varlist1] (varlist_2=varlist_iv) （选择项可以为fe ，re 等，表示固定效应、随机效应等。详见help xtivreg ） 如果存在内生解释变量，则应该选用工具变量，工具变量个数不少于方程中内生解释变量的个数。“恰好识别”时用2SLS 。2SLS 的实质是把内生解释变量分成两部分，即由工具变量所造成的外生的变动部分，以及与扰动项相关的其他部分；然后，把被解释变量对中的这个外生部分进行回归，从而满足OLS 前定变量的要求而得到一致估计量。 t p t q t p 二、异方差与自相关检验 在球型扰动项的假定下，2SLS 是最有效的。但如果扰动项存在异方差或自相关， 面板异方差检验： xtgls enc invs exp imp esc mrl,igls panel(het) estimates store hetero xtgls enc invs exp imp esc mrl,igls estimates store homo local df = e(N_g) - 1 lrtest hetero homo, df(`df') 面板自相关：xtserial enc invs exp imp esc mrl
GMM 估计中文讲义2 线性模型 1i x 是1k ?，2i x 是1r ?，l k r =+。如果没有其他约束，β的渐进有效估计量是OLS 估计。现在假设给定一个信息20β=，我们可以把模型写为， 11 i i i y x βε'=+，()0i i E x ε= 如何估计1β？一种就是OLS 估计。然而这种方法不是必然有效的，当在()0i i E x ε=方程中有l 个约束，然而1β的维数k l <，这种情况称为过渡识别。这里有r l k =-比自由参数多的矩约束，我们称r 是过渡约束识别个数。 让(,,,)g y z x β是1l ?个方程，参数β为1k ?，且k l <，有 0(,,,)0i i i Eg y z x β= （1） 0β是β 的真实值，在上面线性模型中有1 (,,)()g y x x y x ββ'= -。在计量经济学里，这类模型称为矩条件模型。在统计学中，这称为估计方程。 另外，我们还有一个线性矩条件模型， 1i i i y z βε'=+，()0i i E x ε= i z 和i x 的维数都是1k ?，且有1l ?，k l <，如果k l =则模型是恰好识别，否则是过 渡识别。变量i z 是i x 的一部分或是i x 的函数。模型（1）可以设置为， 0(,,,)()i i i g y z x x y z ββ'=- （2） GMM 估计 模型（2）样本均值为 11111 ()(())()n n n i i i i i i n n n g g x y z X y X Z ββββ==='''=-=-∑∑ （3） β的矩估计量就是设置()0n g β=。对于k l <个方程大于参数的情形，GMM 估计思 想就是设置()n g β近可能的接近于零。 对于l l ?加权矩阵W 0n >，让 这是向量()n g β长度的非负测度。例如，如果W n I =，则有 2 ()()()()n n n n n n J g g g ββββ'=?=?。
Econometrics2—Fall2005 Generalized Method of Moments (GMM)Estimation Heino Bohn Nielsen 1of32 Outline (1)Introduction and motivation (2)Moment Conditions and Identi?cation (3)A Model Class:Instrumental Variables(IV)Estimation (4)Method of Moment(MM)Estimation Examples:Mean,OLS and Linear IV (5)Generalized Method of Moment(GMM)Estimation Properties:Consistency and Asymptotic Distribution (6)E?cient GMM Examples:Two-Stage Least Squares (7)Comparison with Maximum Likelihood Pseudo-ML Estimation (8)Empirical Example:C-CAPM Model
Introduction Generalized method of moments(GMM)is a general estimation principle. Estimators are derived from so-called moment conditions. Three main motivations: (1)Many estimators can be seen as special cases of GMM. Unifying framework for comparison. (2)Maximum likelihood estimators have the smallest variance in the class of consistent and asymptotically normal estimators. But:We need a full description of the DGP and correct speci?cation. GMM is an alternative based on minimal assumptions. (3)GMM estimation is often possible where a likelihood analysis is extremely di?cult. We only need a partial speci?cation of the model. Models for rational expectations. 3of32 Moment Conditions and Identi?cation ?A moment condition is a statement involving the data and the parameters: g(θ0)=E[f(w t,z t,θ0)]=0.(?) whereθis a K×1vector of parameters;f(·)is an R dimensional vector of(non-linear)functions;w t contains model variables;and z t contains instruments. ?If we knew the expectation then we could solve the equations in(?)to?ndθ0.?If there is a unique solution,so that E[f(w t,z t,θ)]=0if and only ifθ=θ0, then we say that the system is identi?ed. ?Identi?cation is essential for doing econometrics.Two ideas: (1)Is the model constructed so thatθ0is unique(identi?cation). (2)Are the data informative enough to determineθ0(empirical identi?cation).
广义矩估计 一、背景 我们前面学了OLS估计、工具变量估计方法，前面这几种方法都有重要假设就是需要知道分布才能估计，但是往往现实理论我们无法得到关于分布的信息，因此矩估计方法应运而生。矩估计方法的基本思想是利用样本矩的信息组成方程组来求总体矩，以此得到渐进性质下的一致性估计量。那么在构成方程组求解的过程中涉及识别问题和解决。本章详细介绍矩估计方法。矩估计方法实际应用非常广泛，应注意将矩估计与OLS估计、工具变量估计和极大似然估计方法结合对比进行应用。 二、知识要点 1，应用背景 2，矩估计存在的问题(识别) 3，矩正交方程和矩条件 4，矩估计的属性 三、要点细纲 1、应用背景 其基本思想是:在随机抽样中，样本统计量(在一个严格意义上，一个统计量是观察的n维随机向量即子样的一个(波雷尔可测)X,XXX,,,，，12n 函数，且要求它不包含任何未知参数)将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。即在不知道分布的情况下，利用样本矩构造方程(包含总体的未知参数)，利用这些方程求得总体的未知参数。 基本定义 n1,,统计量为子样的ν阶矩(ν阶原点矩); mXi,n,i1
n1, ,统计量为子样的ν阶中心矩。 ,BXX，，i,n,i1 子样矩的均值与方差 2222,,,;,,,,EXVarXEXEX，，，，，， kk,，，EXEX,,,kk 我们用到时假定它是存在的。 ,,或kk 基本做法 的可能分布族为，其中属于参数空间的设:母体XFx,,,,,,Θ，，,, 是待估计的未知参数。假定母体分布的k阶矩存在，则母体,,,,,,,,，，12k 分布的ν阶矩 ,, ,,,,1xdFxk,,,,,,,,,，，，，,,12k,, 是的函数。 ,,,,,,,,，，12k 对于子样，其ν阶子样矩是 X,XXX,,,，，n12 n1,,,, mXk,1,,,in,i1 现在用子样矩作为母体矩的估计，即令: n1,,,, (1) ,,,1,2,,mXk,,,,,,，，,,i12kn,i1
广义矩估计 1.1 矩估计 1.1.1 总体矩与样本矩 设总体X 的可能分布族为(){},,F x θθ∈Θ，其中来自参数空间Θ的 ()12,,,k θθθ=θ 是待估计的未知参数。假定总体分布的 m 阶矩存在， 则总体分布的k 阶原点矩和k 阶中心矩为 ()() ,1k k k EX x dF x k m α+∝-∝ =≤≤? θθ 1 ()[()]()[()],1k k k E X E x x E x dF x k m μ+∝ -∝ -=-≤≤? θθ 2 两种常见的情况是一阶原点矩和二阶中心矩： ()E X μ= 3 2222()[()]()Var X E X E X μμσ=-=- 4 一阶原点矩表示变量的期望值，二阶中心矩表示变量的方差。 对于样本12(,,,)n X X X =X ，其k 阶原点矩是： 1 1n k k i i m X n ==∑（1k m ≤≤） 5 当k =1时，m 1表示X 的样本均值。 X 的k 阶中心矩是： ()1 1n k k i i B X X n =-∑ （1k m ≤≤） 6 当k =2时，B 2表示X 的样本方差。 1.1.2 矩估计方法 矩方法（moment method ）是一种古老的估计方法。其基本思想是：在随机抽样中，样本统计量将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。 总体分布的k 阶矩为()12,,,K θθθ=θ 的函数。根据大数定理，样
本矩依概率收敛于总体矩。因此，可以用样本矩作为总体矩的估计，即令： ()12,,,1,2,,k K k m k K αθθθ== 即： ()1 1,1,2,,n k k i i x dF x X k K n +∝-∝ = = =∑ ∑ θ 7 上式确定了包含K 个未知参数()12,,,K θθθ=θ 的K 个方程式，求解上 式所构成的方程组就可以得到()12,,,K θθθ=θ 的一组解()12????,,,k θθθ=?θ。 因为m k 是随机变量，故解得的?θ 也是随机变量。这种参数估计方法称为矩方法，()12????,,,k θθθ=?θ即是()12,,,K θθθ=θ 的矩估计量。 定理：X 的分布函数F (X )存在2ν阶矩，则对样本的ν阶原点矩m v ，则矩的期望和方差为： []E m νν α=，[]()221Var m n ννναα=- 8 证明： []11 1111n n n i i i i i E m E X E X n n n ννννν αα===????====????????∑∑∑ []() 2 2 Var m Em Em ννν=- 2 2 1 1n i i E X n ννα=??=- ? ??? ∑ 2222111n i i j i i j E X X X n n ννννα=≠?? ?=+- ??? ∑∑∑ 222 2 11 1n i i j i i j E X E X X n n ννννα=≠????= +-???? ∑∑∑ 221 11 n i j i i j E X E X n n νννναα=≠????= +-????∑∑∑ ()22 22111n n n n νννααα=+-- 2 211n n νν αα=-。 矩方法的一般步骤：
第1章 广义矩估计 1.1 矩估计 1.1.1 总体矩与样本矩 设总体X 的可能分布族为(){},,F x θθ∈Θ，其中来自参数空间Θ的 ()12,,,k θθθ=θK 是待估计的未知参数。假定总体分布的 m 阶矩存在，则总体分 布的k 阶原点矩和k 阶中心矩为 ()(),1k k k EX x dF x k m α+∝-∝ =≤≤? θθ@ 1 ()[()]()[()],1k k k E X E x x E x dF x k m μ+∝-∝ -=-≤≤? θθ@ 2 两种常见的情况是一阶原点矩和二阶中心矩： ()E X μ= 3 2222()[()]()Var X E X E X μμσ=-=-@ 4 一阶原点矩表示变量的期望值，二阶中心矩表示变量的方差。 对于样本12(,,,)n X X X =X K ，其k 阶原点矩是： 1 1n k k i i m X n ==∑（1k m ≤≤） 5 当k =1时，m 1表示X 的样本均值。 X 的k 阶中心矩是： ()1 1n k k i i B X X n =-∑@（1k m ≤≤） 6 当k =2时，B 2表示X 的样本方差。
1.1.2 矩估计方法 矩方法（moment method ）是一种古老的估计方法。其基本思想是：在 随机抽样中，样本统计量将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。 总体分布的k 阶矩为()12,,,K θθθ=θK 的函数。根据大数定理，样本矩依概率收敛于总体矩。因此，可以用样本矩作为总体矩的估计，即令： 即： ()1 1,1,2,,n k k i i x dF x X k K n +∝-∝ = = =∑ ∑K θ 7 上式确定了包含K 个未知参数()12,,,K θθθ=θK 的K 个方程式，求解上式所构成 的方程组就可以得到()12,,,K θθθ=θK 的一组解()12????,,,k θθθ=?θ。因为m k 是随机变量，故解得的?θ也是随机变量。这种参数估计方法称为矩方法，() 12????,,,k θθθ=?θ即是()12,,,K θθθ=θK 的矩估计量。 定理：X 的分布函数F (X )存在2ν阶矩，则对样本的ν阶原点矩m v ，则矩的期望和方差为： []E m ννα=，[]() 2 21Var m n ννν αα= - 8 证明： 矩方法的一般步骤： Step1：总体矩条件（population moment condition ）：(),t =m w θ0。一般情况下，矩条件可以写为：[(,)]t E f =w θ0。 给定观测样本12(,,,)T y y y K ，总体矩无法计算。但可以计算总体矩条件对应的样本矩条件。 Step2：样本矩条件（sample moment condition ）：()?,t =m w θ0。一般情况下，矩条件可以写为： 根据大数定理，样本矩依概率收敛于总体矩，即 Step3：令样本矩=总体矩，得到矩方程，解方程（组）得到未知参数的矩估计量。 在很多情况下，我们可以根据矩条件构建矩方程，然后求解未知参数。一般情况下，这些矩条件都是可以直接观察到（或假定）的。 例 1.1 假定随机变量 y t 的均值()t E y μ=存在但未知，利用矩方法进行估计。
广义矩方法(generalized method of moments ，GMM)的一般表述是由汉森(1982)提出的。它是基于模型实际参数满足的一些矩条件而形成的一种参数估计方法，是普通矩估计方法的一般化。只要模型设定正确，一般情况下都能找到该模型实际参数满足的若干矩条件而采用广义矩。GMM 法大大突破了原有矩法的局限性，在大样本性质下效果较好，而且在相当大的范围内具有极大似然估计的优良性。 2．2广义矩概念的引出 2．2．2广义矩估计(GMM) 当样本矩条件的个数与待估参数的个数相等时，使用经典的矩估计方法即可解决参数的估计问题，如上述两个例子都是选择两个样本矩来估计总体的两个参数。 若选择的矩方程个数多于估计参数的个数，经典矩方法就不再适用 ，于是广 义矩方法 应运而生。 () () () () () 21 ,1,...,,()1,...,, ()?()(())i i i r i i i r X i r R M i r M r Q X M ββββββ ==== -∑设样本个矩为对应总体个矩为为待估总体（向量）的函数，且大于待估参数的个数， 则最小二乘法参数估计量实际上是使得欧氏距离函数 达到最小的参数估计量。但是不同的矩起的作用不同，如果希望某些矩的作用大些，这就想到加权最小二乘法、广义最小二乘法，从函数空间距离角度，就是要(1) () (1) () 1 (,...,), (,...,),()()'() ()?()r r X X X M M M Q X M S X M S X M G M M Q ββββ -===---M ahalanobis 应用距离。写成向量形式，记则马氏距离定义为： 其中是关于的协方差矩阵，参数的估计就是使得达到最小的。 2．3广义矩估计法
GMM的stata操作步骤 广义矩估计（Generalized Method of Moments，即GMM）一、解释变量内生性检验首先检验解释变量内生性（解释变量内生性的Hausman 检验：使用工具变量法的前提是存在内生解释变量。Hausman 检验的原假设为：所有解释变量均为外生变量，如果拒绝，则认为存在内生解释变量，要用IV；反之，如果接受，则认为不存在内生解释变量，应该使用OLS。reg ldi lofdi estimates store ols xtivreg ldi (lofdi=l.lofdi ldep lexr) estimates store iv hausman iv ols （在面板数据中使用工具变量，Stata 提供了如下命令来执行2SLS:xtivreg depvar [varlist1] (varlist_2=varlist_iv) （选择项可以为fe，re 等，表示固定效应、随机效应等。详见help xtivreg）如果存在内生解释变量，则应该选用工具变量，工具变量个数不少于方程中内生解释变量的个数。“恰好识别”时用2SLS。2SLS 的实质是把内生解释变量分成两部分，即由工具变量所造成的外生的变动部分，以及与扰动项相关的其他部分；然后，把被解释变量对中的这个外生部分进行回归，从而满足OLS 前定变量的要求而得到一致估计量。t p t q t p 二、异方差与自相关检验在球型扰动项的假定下，2SLS 是最有效的。但如果扰动项存在异方差或自相关，面板异方差检验：xtgls enc invs exp imp esc mrl,igls panel(het) estimates store hetero xtgls enc invs exp imp esc mrl,igls estimates store homo local df = e(N_g) - 1 lrtest hetero homo, df(`df') 面板自相关：xtserial enc invs exp imp esc mrl 则存在一种更有效的方法，即GMM。从某种意义上，GMM 之于2SLS 正如GLS 之于OLS。好识别的情况下，GMM 还原为普通的工具变量法；过度识别时传统的矩估计法行不通，只有这时才有必要使用GMM，过度识别检验（Overidentification Test 或J Test）：estat overid 三、工具变量效果验证工具变量：工具变量要求与内生解释变量相关，但又不能与被解释变量的扰动项相关。由于这两个要求常常是矛盾的，故在实践上寻找合适的工具变量常常很困难，需要相当的想象力与创作性。常用滞后变量。需要做的检验：检验工具变量的有效性：（1）检验工具变量与解释变量的相关性如果工具变量z 与内生解释变量完全不相关，则无法使用工具变量法；如果与仅仅微弱地相关，。这种工具变量被称为“弱工具变量”（weak instruments）后果就象样本容量过小。检验弱工具变量的一个经验规则是，如果在第一阶段回归中， F 统计量大于10，则可不必担心弱工具变量问题。Stata 命令：estat first（显示第一个阶段回归中的统计量）（2）检验工具变量的外生性（接受原假设好）在恰好识别的情况下，无法检验工具变量是否与扰动项相关。在过度识别（工具变量个数>内生变量个数）的情况下，则可进行过度识别检验（Overidentification Test），检验原假设所有工具变量都是外生的。如果拒绝该原假设，则认为至少某个变量不是外生的，即与扰动项相关。0 H Sargan 统计量，Stata 命令：estat overid 四、GMM过程在Stata 输入以下命令，就可以进行对面板数据的GMM 估计。 . ssc install ivreg2 （安装程序ivreg2 ）. ssc install ranktest （安装另外一个在运行ivreg2 时需要用到的辅助程序ranktest） . use "traffic.dta"（打开面板数据）. xtset panelvar timevar （设置面板变量及时间变量）. ivreg2 y x1 (x2=z1 z2),gmm2s （进行面板GMM估计，其中2s 指的是2-step GMM）