1.3 多元线性回归与最小二乘估计
1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：
y t =
+
1x t 1
+ 2x t 2 +…+
k - 1x t k -1
+ u t (1.1)
其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，i , i = 0,
1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = 0 +1x t 1 + 2x t 2 +…+ k - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为
y 1 =
+
1x 11
+
2x 12
+…+
k - 1x 1 k -1
+ u 1, 经济意义：x t j 是y t 的重要解释变
量。
y 2 =
+1x 21 + 2x 22 +…+ k - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。
……….. 几何意义：y t 表示一个多维平面。
y T = 0 +1x T 1 + 2x T 2 +…+ k - 1x T k -1 + u T (1.2)
此时y t 与x t i 已知，
j
与 u t 未知。
)
1(21)1(110)(11
1222111111)1(21111??-?---??
?????
??????+???????????????????????
???=?
?
??
??
??????T T k k k T k T Tj
T k j k j
T T u u u x x x x x x x x x y y y
βββ (1.3)
Y = X + u , (1.4)
为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。
假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 2
相同且
为有限值，即
E(u ) = 0 = ??
??
?
?????00 , Var (u ) = E(u
?u ?' ) = 2I = 2???
???????10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0
假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k 其中rk()表示矩阵的秩。
假定⑷ 解释变量是非随机的，且当T → ∞ 时
T – 1X 'X → Q
其中Q 是一个有限值的非退化矩阵。
最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。
min S = (Y - X β
?)' (Y - X β?) = Y '
Y -β?'X 'Y - Y ' X β? +β?'X 'X β? = Y 'Y - 2
β
?'X
'
Y +
β
?'X 'X
β
? (1.5)
因为Y 'X β
?是一个标量，所以有Y 'X β? = β?'X 'Y 。(1.5) 的一阶条件为： β
???S = - 2X 'Y + 2X 'X β
?= 0 (1.6) 化简得
X 'Y = X 'X β
? 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有
β?= (X 'X )-1
X 'Y （1.7）
因为X 的元素是非随机的，(X 'X ) -1
X 是一个常数矩阵，则β
?是Y 的线性组合，为线性估计量。
求出β
?，估计的回归模型写为 Y = X β
?+u ? (1.9) 其中β?= (0?β 1
?β … 1?-k β)' 是 的估计值列向量，u
?= (Y - X β?) 称为残差列向量。因为
u
?= Y - X β?= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (1.10) 所以u
?也是Y 的线性组合。β?的期望和方差是 E(β
?) = E[(X 'X )-1
X '
Y ] = E[(X 'X )-1
X '(X + u )]
=
+
(X 'X )-1
X
'
E(u ) =
(1.11)
Var(β
?) = E[(β?–) (β
?–)']= E[(X 'X )-1X ' u u ' X (X 'X )-1
]
= E[(X 'X )-1
X '
2I X (X 'X )-1] = 2 (X 'X )-1
(1.12)
高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。β?具有无偏性。β
?具有最小方差特性。β?具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差
s 2
= u ?'u ?/ (T - k )
(1.13)
s 2是 的无偏估计量，E(s 2 ) = 。β
?的估计的方差协方差矩阵是 ∧
Var
(
β
?) = s (X 'X )-1
(1.14)
3. 多重确定系数（多重可决系数）
Y = X β
?+u ?=Y ?+u ? (1.15) 总平方和
SST =∑=-T
t t y y 12)(=
∑
∑
∑
===+
-
T t T t T t t t y y y y 1
21
1
22
=
21
122y T y
y
y T t T
t t
t +-∑
∑
=== Y 'Y - T 2y , (1.16)
其中y 是y t 的样本平均数，定义为y = T y T
t t /)(1∑=。同理，回归平方和为
SSR = ∑=-T
t t y y
12)?(= Y ?'Y ?- T 2y (1.17) 其中y 的定义同上。残差平方和为
SSE = ∑=-T
t t t y
y 12)?(= ∑=T
t t
u 12?= u ?'u ? (1.18) 则有如下关系存在，
SST = SSR + SSE (1.19)
R 2
= 2
2??y T y T SST SSR -Y Y Y 'Y '-= (1.20) 显然有0 R 2
1。R
2
1，拟合优度越好。
4. 调整的多重确定系数
当解释变量的个数增加时，通常R 2
不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数2R 如下：
2
R = 1 -
)
)(1(1)1/()/(SST
SSR
SST k T T T SST k T SSE ----=-- = 1 -
)1(1
2R k
T T --- (1.21)
5. OLS 估计量的分布 若u
N (0, I ) ，则每个u t 都服从正态分布。于是有
Y
N (X , I )
(1.22)
因β?也是u 的线性组合（见公式1.7），依据（1.11）和（1.12）有
β
? N ( , (X 'X )
-1
)
(1.23)
6. 方差分析与F 检验
与SST 相对应，自由度T -1也被分解为两部分，
（T -1）= (k -1) + (T - k )
(1.24)
回归均方定义为MSR
=
1-k SSR ，误差均方定义为MSE = k
T SSE
- 表1.1 方差分析表
方差来源 平方和
自由度
均方
回归 SSR =Y
?'Y ?-T y 2 k -1 MSR = SSR / (k -1) 误差 SSE = u
?'u ? T -k MSE = SSE / (T -k )
总和
SST = Y 'Y - T y 2
T -1
H 0:
1
=
2
= … = k -1
= 0; H 1:
j
不全为零
F
=
MSE
MSR =
)
/()
1/(k T SSE k SSR -- F (k -1,T -k )
(1.25)
设检验水平为，则检验规则是，若 F F
(k -1,T -k )
，接受H 0；若 F > F
(k -1,T -k )
, 拒绝H 0。
图3.1 F 检验示意图 图3.2 t 检验示意图
7．t 检验 H 0：
j
= 0, (j = 1, 2, …, k -1), H 1：
j
t =
)?(?j
j s ββ=1
121)'(?)?(?+-+=j j
j j s Var X X βββ t (T -k ) (1.26)
判别规则：若 t t
k
接受H 0；若 t > t k
拒绝H 0。
8．i 的置信区间
（1） 全部i 的联合置信区间接受
F =
k
1( -β?)' (X 'X ) ( -β
?) / s 2
F
(k , T -k )
(1.27)
(
-β?)' (X 'X ) ( -β
?) s 2
k F
(k , T -k )
，它是一个k 维椭球。
(1.28)
（2） 单个
i
的置信区间
i
=
i
β?±
1
+j v s t
k
.
(1.29)
9．预测 （1）点预测
C = (1 x T +1 1 x T +1 2 … x T +1 k -1 ) (1.30) 则T + 1期被解释变量y T +1的点预测式是，
1?+T y
= C β?=β?0 +β?1 x T +1 1 + … +β? k -1
x T +1 k -1 (1.31)
（2）E(y T +1) 的置信区间预测
首先求点预测式C β
?的抽样分布 E(1?+T y
) = E(C β?) = C (1.32)
Var(1?+T y
) = Var(C β?) = E[(C β?- C ) (C β
?- C ) ' ] = E[C (β
?- ) [C (β?- )] ' ]= C E[(β?- ) (β?- ) ' ]C '
= C Var(β
?)C '= C 2
(X 'X )-1C ' =
2
C (X 'X )-1C ' ,
(1.33)
因为β
?服从多元正态分布，所以C β?也是一个多元正态分布变量，即 1?+T y
= C β? N (C , 2C (X 'X ) -1
C ') (1.34)
构成 t 分布统计量如下
t =
'
)'()?(?1
11C X X C -++-s y E y
T T =
'
)'(?1
C X X C C C --s ββ t (T -k ) (1.35)
置信区间 C β
? t
/2 (1, T -k )
s ')'(1C X X C - (1.36)
(3) 单个y T +1的置信区间预测
y T +1值与点预测值1?+T y
有以下关系 y T +1 = 1?+T y
+ u T +1 (1.37) 其中u T +1是随机误差项。因为
E( y T +1) = E(1?+T y
+ u T +1) = C (1.38)
Var( y T +1) = Var(1?+T y
) + Var(u T +1) = 2
C (X 'X )-1
C ' + 2
= 2 (C (X 'X )-1
C ' + 1) (1.39)
因为β
?服从多元正态分布，所以y T +1也是一个多元正态分布变量，即 y T +1 N (C , 2C (X 'X ) -1C '+ 1)
与上相仿，单个y T +1的置信区间是
C β
? t /2 (T -k )
s 1')'(1+-C X X C (1.40)
计算举例：（见《计量经济分析》第19-27页，熟悉矩阵运算）（file:b1e1）
10. 预测的评价指标
注意，以下6个公式中的e t 表示的是预测误差，不是残差。可以在样本内、外预测。 (1) 预测误差。预测误差定义为
e t = t y
?- y t , t = T +1, T +2, … 是对单点预测误差大小的测量。
(2) 相对误差PE (Percentage Error)。
PE = t
t t y y y
-?, t = T +1, T +2, …
是对单点预测相对误差大小的测量。
(3) 误差均方根rms error (Root Mean Squared Error)
rms error =
∑=-T
t t t
y y
T
1
2)?(1
通过若干个预测值对预测效果进行综合评价。
(4) 绝对误差平均MAE (Mean Absolute Error)
MAE =
∑=-T
t t t y y
T
1?1
通过若干个预测值对预测的绝对误差进行综合评价。
(5) 相对误差绝对值平均MAPE (Mean Absolute Percentage Error)
MAPE =
∑
=-T
t t
t t y y y
T
1
?1
综合运用以上4种方法，通过若干个预测值对预测的相对误差进行综合评价。
以上5个式子中，t y ?表示预测值，y t 表示实际值。公式中的累加范围是用1至T 表示的，
当然也可以用于样本外预测评价。
0.0
0.51.01.52.02.53.0
1
2
3
4
5
6
7
8
9101112131415
YF
?2 S.E.
图3 EViews 只给出样本内预测评价（前三个指标对应于公式3，4，5）Theil 不等系数的范围是[0，1]
11．建模过程中应注意的问题
05000
100001500020000250003000080
81
82
83
84
85
86
87
88
89
90
91
92
GDP
GDP(f)图3.4
（1）研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP 是1980年的5.9倍，而按固定价格计算，我国1992年的GDP 是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP 曲线一直是上升的，而按不变价格（1980年价格）计算的GDP 曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。（1988、1989年居民消费价格指数分别为18.8%、18%。） (2) 依照经济理论以及对具体经济问题的深入分析初步确定解释变量。
例：我国粮食产量 = f （耕地面积、农机总动力、施用化肥量、农业人口等）。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。
例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。
(3) 当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。 例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。 例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。
(4) 通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。（线性、非线性、无关系）
图3.5（nonli8，1982-1998）
（5）谨慎对待离群值（outlier ）。离群值可能是正常值也可能是异常值。不能把建立模型简单化为一个纯数学过程，目的是寻找经济规律。（欧盟对华投资和中国从欧盟进口）
年 INV （投资） IMPORT （进口）
1991 2.562000 23.47000 1992 2.429700 32.29000 1993 6.712400 63.99000 1994 15.37600 78.75000 1995 21.31000 149.1300 1996 27.37000 113.8100 1997 41.71000 106.1500 1998
39.78000
112.2000
102030405060
7880828486889092949698000204
LABOR
图3.6 把5.1282错输入为51.28。
(6) 过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型，y t = 1 x t + u t ，为例，
①正规方程只有一个（不是两个），
1
2?)?(
β
??∑
t u
= 2 (y t -1
?βx t ) (- x t ) = 0 即
t u
?x t = 0，而没有t u
? = 0，即残差和等于零不一定成立。 ②可决系数R 2
有时会得负值！原因是有时会有SSE>SST 。为维持SSE+SSR=SST ，迫使
SSR<0。
(7) 改变变量的测量单位可能会引起回归系数值的改变，但不会影响t 值。即不会影响
统计检验结果。以一元回归模型的估计公式为例说明之。